Как получить часть файла после первой строки, которая соответствует регулярному выражению?

У меня есть файл с около 1000 строк. Мне нужна часть моего файла после строки, которая соответствует моему выражению grep.

То есть:

$ cat file | grep 'TERMINATE'     # It is found on line 534

Итак, я хочу файл из строки 535 в строку 1000 для дальнейшей обработки.

Как я могу это сделать?

Далее будет напечатана строка соответствия TERMINATEдо конца файла:

sed -n -e '/TERMINATE/,$p'

Объяснено: -n отключает поведение по умолчанию sedпри печати каждой строки после выполнения сценария на нем, -eуказывает сценарий на sed, /TERMINATE/,$это выбор диапазона адресов (строк), означающий, что первая строка соответствует TERMINATEрегулярному выражению (например, grep) до конца файла ( $) и p- команда печати, которая печатает текущую строку.

Это напечатает от строки, которая следует за соответствующей строкой TERMINATEдо конца файла:
(от ПОСЛЕ соответствующей строки к EOF, НЕ включая соответствующую строку)

sed -e '1,/TERMINATE/d'

Объяснено: 1,/TERMINATE/ это выбор диапазона адресов (строк), означающий первую строку для ввода в 1-ю строку, соответствующую TERMINATEрегулярному выражению, и dэто команда удаления, которая удаляет текущую строку и переходит к следующей строке. Так как по sedумолчанию выполняется печать строк, он будет печатать строки после TERMINATE конца ввода.

Редактировать:

Если вы хотите строки раньше TERMINATE:

sed -e '/TERMINATE/,$d'

И если вы хотите обе строки до и после TERMINATEв 2 разных файлах за один проход:

sed -e '1,/TERMINATE/w before
/TERMINATE/,$w after' file

Файлы before и after будут содержать строку с terminate, поэтому для обработки каждого из них вам необходимо использовать:

head -n -1 before
tail -n +2 after

Edit2:

Если вы не хотите жестко кодировать имена файлов в сценарии sed, вы можете:

before=before.txt
after=after.txt
sed -e "1,/TERMINATE/w $before
/TERMINATE/,\$w $after" file

Но тогда вы должны избежать $значения последней строки, чтобы оболочка не пыталась расширить $wпеременную (обратите внимание, что теперь мы используем двойные кавычки вокруг сценария вместо одинарных кавычек).

Я забыл сказать, что новая строка важна после имен файлов в скрипте, так что sed знает, что имена файлов заканчиваются.

Изменить: 2016-0530

Себастьян Клеман спросил: «Как бы вы заменили жестко закодированную TERMINATEпеременную?»

Вы должны сделать переменную для соответствующего текста, а затем сделать это так же, как в предыдущем примере:

matchtext=TERMINATE
before=before.txt
after=after.txt
sed -e "1,/$matchtext/w $before
/$matchtext/,\$w $after" file

использовать переменную для сопоставления текста с предыдущими примерами:

## Print the line containing the matching text, till the end of the file:
## (from the matching line to EOF, including the matching line)
matchtext=TERMINATE
sed -n -e "/$matchtext/,\$p"

## Print from the line that follows the line containing the 
## matching text, till the end of the file:
## (from AFTER the matching line to EOF, NOT including the matching line)
matchtext=TERMINATE
sed -e "1,/$matchtext/d"

## Print all the lines before the line containing the matching text:
## (from line-1 to BEFORE the matching line, NOT including the matching line)
matchtext=TERMINATE
sed -e "/$matchtext/,\$d"

Важными моментами о замене текста переменными в этих случаях являются:

1. Переменные ( $variablename), заключенные в single quotes[ '], не будут «расширяться», но переменные внутри double quotes[ "] будут. Таким образом, вы должны изменить все , single quotesчтобы , double quotesесли они содержат текст , который вы хотите заменить переменную.
2. В sedдиапазонах также содержат $и сразу же следуют буква , как: $p, $d, $w. Они также будут выглядеть как переменные , которые будут расширены, так что вы должны избежать этих $символов с обратной косой черты [ \] , как: \$p, \$d, \$w.

В качестве простого приближения вы можете использовать

grep -A100000 TERMINATE file

который ищет TERMINATEи выводит до 100000 строк после этой строки.

С man страницы

-A NUM, --after-context=NUM

Вывести NUM строк конечного контекста после сопоставления строк. Помещает строку, содержащую разделитель групп (-), между смежными группами совпадений. С опцией -o или --only-match это не имеет никакого эффекта, и выдается предупреждение.

Инструмент для использования здесь - awk:

cat file | awk 'BEGIN{ found=0} /TERMINATE/{found=1}  {if (found) print }'

Как это работает:

1. Мы устанавливаем переменную 'found' в ноль, оценивая false
2. если совпадение для 'TERMINATE' найдено с регулярным выражением, мы устанавливаем его равным единице.
3. Если наша переменная 'found' имеет значение True, выведите :)

Другие решения могут потреблять много памяти, если вы используете их для очень больших файлов.

Если я правильно понимаю ваш вопрос, вы хотите строки после TERMINATE , не включая TERMINATE-line. awkможно сделать это простым способом:

awk '{if(found) print} /TERMINATE/{found=1}' your_file

Объяснение:

1. Хотя это не лучшая практика, вы можете полагаться на тот факт, что все переменные по умолчанию имеют значение 0 или пустую строку, если она не определена. Поэтому первое выражение ( if(found) print) не будет печатать ничего, с чего можно начать.
2. После того, как печать завершена, мы проверяем, является ли это стартовой линией (которая не должна быть включена).

Это будет печатать все строки , после в TERMINATE-LINE.

Обобщение:

• У вас есть файл с начальной - и торцевой - линиями , и вы хотите , чтобы линии между этими линиями , за исключением на старте - и торцевых - линиях.
• начало - и конец строки могут быть определены с помощью регулярного выражения, соответствующего строке.

Пример:

$ cat ex_file.txt 
not this line
second line
START
A good line to include
And this line
Yep
END
Nope more
...
never ever
$ awk '/END/{found=0} {if(found) print} /START/{found=1}' ex_file.txt 
A good line to include
And this line
Yep
$

Объяснение:

1. Если найдена конечная строка, печать не производится. Обратите внимание, что эта проверка выполняется перед фактической печатью, чтобы исключить конечную строку из результата.
2. Вывести текущую строку, если foundона установлена.
3. Если начальная строка найдена, установите ее found=1так, чтобы были напечатаны следующие строки. Обратите внимание, что эта проверка выполняется после фактической печати, чтобы исключить начальную строку из результата.

Ноты:

• Код опирается на тот факт, что по умолчанию все awk-vars имеют значение 0 или пустую строку, если она не определена. Это верно, но не может быть лучшей практикой, поэтому вы можете добавить BEGIN{found=0}в начало выражения awk.
• Если найдено несколько начальных-конечных блоков, все они печатаются.

Используйте расширение параметра bash следующим образом:

content=$(cat file)
echo "${content#*TERMINATE}"

grep -A 10000000 'TERMINATE' файл

• намного, намного быстрее, чем sed, особенно при работе с действительно большими файлами. Он работает до 10 миллионов строк (или что-то еще, что вы вставляете), так что нет ничего страшного в том, чтобы сделать его достаточно большим, чтобы справиться со всем, что вы ударили.

Есть много способов сделать это с помощью sedили awk:

sed -n '/TERMINATE/,$p' file

Это ищет TERMINATEв вашем файле и печатает от этой строки до конца файла.

awk '/TERMINATE/,0' file

Это точно такое же поведение, как и sed.

Если вам известен номер строки, с которой вы хотите начать печать, вы можете указать его вместе с NR(номер записи, который в итоге указывает номер строки):

awk 'NR>=535' file

пример

$ seq 10 > a        #generate a file with one number per line, from 1 to 10
$ sed -n '/7/,$p' a
7
8
9
10
$ awk '/7/,0' a
7
8
9
10
$ awk 'NR>=7' a
7
8
9
10

Если по какой-либо причине вы хотите избежать использования sed, следующий текст напечатает соответствие TERMINATEдо конца файла:

tail -n "+$(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)" file

и следующее напечатает от следующей строки соответствия TERMINATEдо конца файла:

tail -n "+$(($(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)+1))" file

Чтобы сделать то, что sed может сделать в одном процессе, требуется 2 процесса, и если файл изменяется между выполнением grep и tail, результат может быть непоследовательным, поэтому я рекомендую использовать sed. Кроме того, если файл не содержит TERMINATE, 1-я команда терпит неудачу.

Альтернативы отличному sedответу от jfgagne, которые не содержат совпадающей строки:

• awk '/TERMINATE/ {y=1;next} y'( https://stackoverflow.com/a/18166628 )
• awk '/TERMINATE/ ? c++ : c'( https://stackoverflow.com/a/23984891 )
• perl -ne 'print unless 1 .. /TERMINATE/'( https://stackoverflow.com/a/18167194 )

Это может быть одним из способов сделать это. Если вы знаете, в какой строке файла у вас есть слово grep и сколько строк в вашем файле:

grep -A466 'TERMINATE' файл

sed - гораздо лучший инструмент для работы: файл sed -n '/ re /, $ p'

где re это регулярное выражение

Другой вариант - флаг grea --after-context. Вам нужно ввести число, чтобы закончить на этом, использование wc в файле должно дать правильное значение для остановки. Объедините это с -n и вашим выражением соответствия.

Они будут печатать все строки от последней найденной строки «TERMINATE» до конца файла:

LINE_NUMBER=`grep -o -n TERMINATE $OSCAM_LOG|tail -n 1|sed "s/:/ \\'/g"|awk -F" " '{print $1}'`
tail -n +$LINE_NUMBER $YOUR_FILE_NAME