Заменить строку, содержащую новую строку в огромном файле

Кто-нибудь знает инструмент, не основанный на строках, для «бинарного» поиска / замены строк в некотором смысле эффективным способом памяти? Смотрите и этот вопрос .

У меня есть текстовый файл + 2 ГБ, который я хотел бы обработать аналогично тому, как это выглядит:

sed -e 's/>\n/>/g'

Это означает, что я хочу удалить все новые строки, которые появляются после >, но нигде больше, так что это исключает tr -d.

Эта команда (которую я получил из ответа на аналогичный вопрос ) не выполняется с couldn't re-allocate memory:

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

Итак, есть ли другие методы, не прибегая к C? Я ненавижу Perl, но готов сделать исключение в этом случае :-)

Я точно не знаю ни одного символа, который не встречается в данных, поэтому временную замену \nдругим символом я бы хотел избежать, если это возможно.

Любые хорошие идеи, кто-нибудь?

Это действительно тривиально в Perl, вы не должны ненавидеть это!

perl -i.bak -pe 's/>\n/>/' file

объяснение

• -i: отредактируйте файл на месте и создайте резервную копию оригинала file.bak. Если вы не хотите резервное копирование, просто используйте perl -i -peвместо этого.
• -pe: читать входной файл построчно и печатать каждую строку после применения скрипта, заданного как -e.
• s/>\n/>/: замена, просто как sed.

И вот awkподход:

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

perlРешение:

$ perl -pe 's/(?<=>)\n//'

Explaination

• s/// используется для подстановки строк.
• (?<=>) это шаблон
• \n соответствует новой строке.

Весь шаблон означает удаление всех символов новой строки, находящихся >перед ним.

Как насчет этого:

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

Для GNU sed вы также можете попробовать добавить опцию -u( --unbuffered) в соответствии с вопросом. GNU sed также доволен этим как простой однострочник:

sed ':loop />$/ { N; s/\n//; b loop }' file

Вы должны быть в состоянии использовать sedс Nкомандой, но хитрость будет состоять в том, чтобы удалять одну строку из пространства образца каждый раз, когда вы добавляете другую (так, чтобы пространство образца всегда содержало только 2 последовательные строки, вместо того, чтобы пытаться читать полностью). файл) - попробуй

sed ':a;$!N;s/>\n/>/;P;D;ba'

РЕДАКТИРОВАТЬ: после перечитывания объяснения знаменитых Sed One-Liners Петерис Круминьш я думаю, что лучшее sedрешение будет

sed -e :a -e '/>$/N; s/\n//; ta'

который добавляет только следующую строку в том случае, если >в конце уже выполнено совпадение, и должен условно вернуться назад, чтобы обработать случай последовательных совпадающих строк (это 39 Крумина. Добавить строку к следующей, если она заканчивается обратной косой чертой «\» именно для замещения исключением >для \как присоединиться характер, и тот факт , что присоединиться символ сохраняется на выходе).

sedне обеспечивает способ вывода вывода без окончательного перевода строки. Ваш подход, основанный на использовании, в Nосновном работает, но хранит неполные строки в памяти и, следовательно, может потерпеть неудачу, если строки становятся слишком длинными (внедрения sed обычно не предназначены для обработки очень длинных строк).

Вместо этого вы можете использовать awk.

awk '{if (/<$/) printf "%s", $0; else print}'

Альтернативный подход - использовать trдля замены символа новой строки «скучный», часто встречающийся символ. Здесь может сработать пробел - выберите символ, который имеет тенденцию появляться в каждой строке или, по крайней мере, в значительной части строк в ваших данных.

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

что насчет использования ed?

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

(через http://wiki.bash-hackers.org/howto/edit-ed )

В итоге я использовал gsar, как описано в этом ответе, вот так:

gsar -F '-s>:x0A' '-r>'

Есть много способов сделать это, и большинство из них действительно хороши, но я думаю, что это мой любимый:

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

Или даже:

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'