разбить файл на две части по шаблону

Как разбить большой файл на две части, по шаблону?

Приведенный пример file.txt:

ABC
EFG
XYZ
HIJ
KNL

Я хочу разделить этот файл на XYZтакой, который file1содержит строки до XYZи остальные строки в file2.

С awkвами можно сделать:

awk '{print >out}; /XYZ/{out="file2"}' out=file1 largefile

Объяснение: Первый awkаргумент ( out=file1) определяет переменную с именем файла, которая будет использоваться для вывода при обработке последующего аргумента ( largefile). awkПрограмма будет печатать все строки в файл , указанный в переменной out( {print >out}). Если шаблон XYZбудет найден, выходная переменная будет переопределена, чтобы указывать на новый файл ( {out="file2}"), который будет использоваться в качестве цели для печати последующих строк данных.

Ссылки:

• Руководство gawk: перенаправление http://www.gnu.org/software/gawk/manual/html_node/Redirection.html#Redirection

Это работа для csplit:

csplit -sf file -n 1 large_file /XYZ/

будет sпринудительно разбивать файл, создавая фрагменты с префиксом fix fileи nобъединяясь в одну цифру, например, file0и т. д. Обратите внимание, что использование /regex/будет разбивать до, но не включая совпадающую строку regex. Чтобы разделить и включить соответствие строк, regexдобавьте +1смещение:

csplit -sf file -n 1 large_file /XYZ/+1

Это создает два файла, file0и file1. Если вам абсолютно необходимо, чтобы они были названы, file1и file2вы всегда можете добавить пустой шаблон в csplitкоманду и удалить первый файл:

csplit -sf file -n 1 large_file // /XYZ/+1

создает file0, file1и , file2но file0пуст , так что вы можете безопасно удалить его:

rm -f file0

С современным kshвот вариант оболочки (т.е. без sed) одного из sedоснованных ответов выше:

{ read in <##XYZ ; print "$in" ; cat >file2 ;} <largefile >file1

И еще один вариант в kshодиночку (то есть также опуская cat):

{ read in <##XYZ ; print "$in" ; { read <##"" ;} >file2 ;} <largefile >file1

(Чистое kshрешение кажется довольно производительным; для файла теста объемом 2,4 ГБ требовалось 19–21 с, по сравнению с 39–47 с при использовании подхода на основе sed/ cat).

{ sed '/XYZ/q' >file1; cat >file2; } <infile

С GNU sedвы должны использовать -uпереключатель nbuffered. Большинство других sedдолжно просто работать.

Чтобы оставить XYZ вне ...

{ sed -n '/XYZ/q;p'; cat >file2; } <infile >file1

Попробуйте это с помощью GNU sed:

sed -n -e '1,/XYZ/w file1' -e '/XYZ/,${/XYZ/d;w file2' -e '}' large_file

Легкий взлом заключается в том, чтобы печатать в STDOUT или STDERR, в зависимости от того, был ли выбран целевой шаблон. Затем вы можете использовать операторы перенаправления оболочки для соответствующего перенаправления вывода. Например, в Perl предполагается, что вызывается входной файл, fа два выходных файла f1и f2:

1. Отбрасывая линию, которая соответствует шаблону разделения:

   perl -ne 'if(/XYZ/){$a=1; next} ; $a==1 ? print STDERR : print STDOUT;' f >f1 2>f2

2. Включая согласованную линию:

   perl -ne '$a=1 if /XYZ/; $a==1 ? print STDERR : print STDOUT;' f >f1 2>f2

В качестве альтернативы, распечатайте на разные дескрипторы файлов:

1. Отбрасывая линию, которая соответствует шаблону разделения:

   perl -ne 'BEGIN{open($fh1,">","f1");open($fh2,">","f2");}
   if(/XYZ/){$a=1; next}$a==1 ? print $fh1 "$_" : print $fh2 "$_";' f

2. Включая согласованную линию:

   perl -ne 'BEGIN{open($fh1,">","f1"); open($fh2,">","f2");}
             $a=1 if /XYZ/; $a==1 ? print $fh1 "$_" : print $fh2 "$_";' f