Что заставляет grep считать файл двоичным?

У меня есть несколько дампов базы данных из системы Windows на моем компьютере. Это текстовые файлы. Я использую Cygwin, чтобы просмотреть их. Они выглядят как простые текстовые файлы; Я открываю их с помощью текстовых редакторов, таких как блокнот и WordPad, и они выглядят разборчиво. Тем не менее, когда я запускаю grep на них, он скажет binary file foo.txt matches.

Я заметил, что файлы содержат некоторые NULсимволы ascii , которые, как я считаю, являются артефактами из дампа базы данных.

Так что же заставляет grep считать эти файлы двоичными? NULХарактер? Есть ли флаг в файловой системе? Что мне нужно изменить, чтобы программа grep показала мне совпадения строк?

Если NULв файле есть символ, grep будет рассматривать его как двоичный файл.

Подобный обходной путь может сначала cat file | tr -d '\000' | yourgrepустранить все нули, а затем выполнить поиск по файлу.

grep -a работал на меня:

$ grep --help
[...]
 -a, --text                equivalent to --binary-files=text

Вы можете использовать stringsутилиту для извлечения текстового содержимого из любого файла , а затем по конвейеру через grep, например: strings file | grep pattern.

GNU grep 2.24 RTFS

Вывод: только в 2 и 2 случаях:

• NULнапример, printf 'a\0' | grep 'a'

• ошибка кодирования в соответствии с C99 mbrlen(), например:

  export LC_CTYPE='en_US.UTF-8'
  printf 'a\x80' | grep 'a'
  

  потому что \x80не может быть первым байтом точки Unicode UTF-8 : UTF-8 - Описание | en.wikipedia.org

Кроме того, как уже упоминал Стефан Шазелас, что заставляет grep считать файл двоичным? | Unix и Linux Stack Exchange , эти проверки выполняются только до первого чтения буфера длины TODO.

Только до первого чтения буфера

Таким образом, если в середине очень большого файла возникает ошибка NUL или кодировки, она может быть в любом случае обработана.

Я полагаю, это из соображений производительности.

Например: это печатает строку:

printf '%10000000s\n\x80a' | grep 'a'

но это не

printf '%10s\n\x80a' | grep 'a'

Фактический размер буфера зависит от того, как файл читается. Например, сравнить:

export LC_CTYPE='en_US.UTF-8'
(printf '\n\x80a') | grep 'a'
(printf '\n'; sleep 1; printf '\x80a') | grep 'a'

С помощью sleepпервой строки передается grep, даже если длина ее составляет всего 1 байт, потому что процесс переходит в спящий режим, а второе чтение не проверяет, является ли файл двоичным.

RTFS

git clone git://git.savannah.gnu.org/grep.git 
cd grep
git checkout v2.24

Найдите, где закодировано сообщение об ошибке stderr:

git grep 'Binary file'

Приводит нас к /src/grep.c:

if (!out_quiet && (encoding_error_output
                    || (0 <= nlines_first_null && nlines_first_null < nlines)))
    {
    printf (_("Binary file %s matches\n"), filename);

Если эти переменные были хорошо названы, мы в основном пришли к выводу.

encoding_error_output

Быстрый поиск encoding_error_outputпоказывает, что единственный путь кода, который может изменить его, проходит buf_has_encoding_errors:

clen = mbrlen (p, buf + size - p, &mbs);
if ((size_t) -2 <= clen)
  return true;

тогда просто man mbrlen.

nlines_first_null и nlines

Инициализировано как:

intmax_t nlines_first_null = -1;
nlines = 0;

поэтому, когда ноль найден, 0 <= nlines_first_nullстановится истиной.

TODO когда может nlines_first_null < nlinesбыть ложным? Мне стало лень.

POSIX

Не определяет бинарные параметры grep - поиск файла для шаблона | pubs.opengroup.org , а GNU grep не документирует это, поэтому RTFS - единственный путь.

Grep: один из моих текстовых файлов внезапно стал двоичным

$ file foo.txt
foo.txt: ISO-8859 text

Решением было преобразовать его, используя iconv:

iconv -t UTF-8 -f ISO-8859-1 foo.txt > foo_new.txt

Файл /etc/magicили /usr/share/misc/magicсодержит список последовательностей, которые команда fileиспользует для определения типа файла.

Обратите внимание, что двоичный файл может быть просто запасным решением. Иногда файлы со странной кодировкой также считаются двоичными.

grepв Linux есть несколько опций для обработки двоичных файлов, таких как --binary-filesили-U / --binary

У одного из моих учеников была эта проблема. Есть ошибка grepв Cygwin. Если файл содержит символы, отличные от символов Ascii, grepи egrepсчитайте его двоичным.

На самом деле, отвечая на вопрос «Что заставляет grep считать файл двоичным?», Вы можете использовать iconv:

$ iconv < myfile.java
iconv: (stdin):267:70: cannot convert

В моем случае были испанские символы, которые правильно отображались в текстовых редакторах, но grep считал их двоичными; iconvвывод указал мне на номера строк и столбцов этих символов

В случае NULсимволов iconvбудет считать их нормальными и не будет выводить такой вывод, поэтому этот метод не подходит

У меня такая же проблема. Я привык vi -b [filename]видеть добавленных персонажей. Я нашел контрольные символы ^@и ^M. Затем в vi введите :1,$s/^@//gдля удаления ^@символов. Повторите эту команду для ^M.

Предупреждение: чтобы получить «синие» управляющие символы, нажмите Ctrl+, vзатем Ctrl+ Mили Ctrl+ @. Затем сохраните и выйдите из vi.