Как «grep» непрерывный поток?

Возможно ли использовать grepнепрерывный поток?

Я имею в виду что-то вроде tail -f <file>команды, но с grepвыводом, чтобы сохранить только те строки, которые меня интересуют.

Я пытался, tail -f <file> | grep patternно кажется, что grepможет быть выполнено только после tailокончания, то есть никогда.

Включите grepрежим буферизации строки при использовании BSD grep (FreeBSD, Mac OS X и т. Д.)

tail -f file | grep --line-buffered my_pattern

Вам не нужно делать это для GNU grep (используется практически во всех Linux), поскольку он будет сбрасываться по умолчанию (YMMV для других Unix-подобных приложений, таких как SmartOS, AIX или QNX).

Я использую tail -f <file> | grep <pattern>все время.

Он будет ждать до сброса grep, а не до его завершения (я использую Ubuntu).

Я думаю, что ваша проблема в том, что grep использует некоторую буферизацию вывода. Пытаться

tail -f file | stdbuf -o0 grep my_pattern

он установит режим буферизации вывода grep в unbuffered.

Если вы хотите найти совпадения во всем файле (а не только в хвосте) и хотите, чтобы он сидел и ждал новых совпадений, это прекрасно работает:

tail -c +0 -f <file> | grep --line-buffered <pattern>

-c +0Флаг говорит о том , что выход должен начинаться 0байт ( -c) с самого начала ( +) файла.

В большинстве случаев вы можете tail -f /var/log/some.log |grep fooи это будет работать просто отлично.

Если вам нужно использовать несколько greps в работающем файле журнала, и вы обнаружите, что ничего не выводите, вам может понадобиться вставить --line-bufferedкоммутатор в ваш средний grep, например, так:

tail -f /var/log/some.log | grep --line-buffered foo | grep bar

вы можете рассматривать этот ответ как улучшение .. обычно я использую

tail -F <fileName> | grep --line-buffered  <pattern> -A 3 -B 5

-F лучше в случае поворота файла (-f не будет работать правильно, если файл повернут)

-A и -B полезны для получения линий непосредственно до и после появления шаблона. Эти блоки будут появляться между разделителями пунктирных линий

Но для меня я предпочитаю делать следующее

tail -F <file> | less

это очень полезно, если вы хотите искать внутри потоковых журналов. Я имею в виду, иди назад и вперед и посмотри

Не видел, чтобы кто-нибудь предложил мое обычное решение для этого:

less +F <file>
ctrl + c
/<search term>
<enter>
shift + f

Я предпочитаю это, потому что вы можете использовать ctrl + cдля остановки и навигации по файлу в любое время, а затем просто нажать, shift + fчтобы вернуться к живому потоковому поиску.

Sed будет лучшим выбором ( редактор потоков )

tail -n0 -f <file> | sed -n '/search string/p'

и затем, если вы хотите, чтобы команда tail выходила, как только вы нашли конкретную строку:

tail --pid=$(($BASHPID+1)) -n0 -f <file> | sed -n '/search string/{p; q}'

Очевидно bashism: $ BASHPID будет идентификатором процесса команды tail. Команда sed будет следующей после tail в конвейере, поэтому идентификатор процесса sed будет $ BASHPID + 1.

Да, это на самом деле будет работать просто отлично. Grepи большинство команд Unix работают с потоками по одной строке за раз. Каждая строка, которая выходит из хвоста, будет проанализирована и передана, если она совпадает.

Эта команда работает для меня (Suse):

mail-srv:/var/log # tail -f /var/log/mail.info |grep --line-buffered LOGIN  >> logins_to_mail

сбор логинов к почтовому сервису

у вас точно не получится

tail -f /var/log/foo.log |grep --line-buffered string2search

когда вы используете "colortail" в качестве псевдонима для tail, например. в баш

alias tail='colortail -n 30'

по псевдониму типа вы можете проверить, выводит ли он что-то вроде tail isan of alias colortail -n 30. тогда у тебя есть виновник :)

Решение:

удалить псевдоним с

unalias tail

убедитесь, что вы используете 'реальный' хвостовой двоичный файл с помощью этой команды

type tail

который должен вывести что-то вроде:

tail is /usr/bin/tail

и тогда вы можете запустить свою команду

tail -f foo.log |grep --line-buffered something

Удачи.

Используйте awk (еще одна отличная утилита bash) вместо grep, где у вас нет опции буферизации строки! Он будет непрерывно передавать ваши данные из хвоста.

вот как вы используете grep

tail -f <file> | grep pattern

Вот как бы вы использовали awk

tail -f <file> | awk '/pattern/{print $0}'