Как найти линии, соответствующие шаблону, и удалить их?

14

В файле с большим количеством строк я хочу удалить строки, которые начинаются с HERE IT IS.

Как я могу сделать это, используя только инструменты командной строки?

command-line text-processing

— micgeronimo
источник

2

Хотя и немного нетрадиционно, вы можете использовать vimвот так vim '+g/^HERE IT IS/d' +wq test.txt

— :;

@ Doorknob, спасибо, что указали на это. На самом деле я нахожусь на пути к использованию vim

— micgeronimo

28

Попробуй sed:

sed -i '/^HERE IT IS/d' <file>

ВНИМАНИЕ: лучше сделать резервную копию при использовании -iпереключателя sed:

sed -i.bak '/^HERE IT IS/d' <file>

Исходный файл останется таким же, как <file>.bakи измененный файл <file>.

— heemayl
источник

Как я могу поставить символ новой строки после совпавшей строки и записать в новую строку?

— micgeronimo

2

sed -i 's/^HERE IT IS/HERE IT IS\n/' <file>

— Heemayl

1

@micgeronimo: рад помочь. Проверьте мои правки, пожалуйста.

— Heemayl

6

@micgeronimo старайтесь задавать вопрос, на который вы действительно хотите получить ответ в исходном вопросе (помните, что вы можете его редактировать), а не через комментарии, которые могут быть очищены / удалены. Вы можете использовать sed '/^HERE IT IS/G' file.

— Steeldriver

1

Использование SED настолько профессионально.

— ЛакшьяАг

18

В дополнение к очень хорошим grepи sedполученным ответам, вот некоторые другие инструменты, которые могут сделать то же самое:

Несколько способов Perl:

perl -ne '/^HERE IT IS/ || print' file > newfile
perl -ne 'print if !/^HERE IT IS/' file > newfile
perl -ne 'print unless /^HERE IT IS/' file > newfile

Вы можете добавить -iпереключатель в любой из примеров для редактирования файла на месте:

perl -i.bak -ne '/^HERE IT IS/ || print' file

(Г) AWK
```
awk '!/^HERE IT IS/' file > newfile
```
Более новые версии (4.1.1 и позже) GNU awk (по умолчанию awkв Linux) также могут редактировать файл на месте:
```
gawk -i inplace  '!/^HERE IT IS/' file
```
Shell ( bash, zsh, ksh, вероятно , другие). Это немного глупо, но это можно сделать, но другие инструменты лучше.
```
while IFS= read -r line; do 
  [[ $line =~ ^"HERE IT IS" ]] || printf "%s\n" "$line"
done < file > newfile
```

— terdon
источник

1

Вы просто хвастаетесь! ;-) (но у вас есть голос, потому что он умный, я многому научился, и bashтот сделал меня

— лол

bash, который следует использовать printf "%s\n" "$line": заключать в кавычки $ line для сохранения пробелов и избегать некоторых проблем с эхом (интерпретация специальных символов и т. д.). и избегает необходимости добавлять --тоже.

— Оливье Дюлак

@ OlivierDulac достаточно честно. Я не хотел усложнять вещи для крайних случаев, но, так как Cuanglm добавил, IFS=и -rя могу также пройти весь путь и сделать его надежным.

— Тердон

@terdon: это все к лучшему доброму ^^ (и я уже сделал +1, хотя, это очень информативно для начинающих)

— Оливье Дюлак

2

@OlivierDulac Я могу заверить вас, что если бы я писал на Unix и Linux, я бы использовал printf, IFS =, -r и цитирование :). Я часто упрощаю вещи для аудитории АС, которая часто менее комфортна с командной строкой.

— тердон

13

Я бы использовал, grepчтобы отфильтровать их. Например :

grep -v "^HERE IT IS" infile > outfile

Затем переместите выход обратно в путь.

— Бен Хиллз
источник

Умное мышление

— Анвар

5

sed это определенно путь.

Эта небольшая модификация команды @heemayl дала вам удаление строки, независимо от того, используется ли тот же случай в шаблоне или нет, из-за I в ссылке на шаблон.

sed -i '/HERE IT IS/Id' <file>

Если у вас есть несколько файлов в каталоге, для которого вы хотите сделать это, вы можете объединить это с find как так.

find . -maxdepth 1 -type f -exec sed -i.bak '/HERE IT IS/Id' {} +

Опция maxdepth означает, что это не будет повторяться в каталогах.

— Arronical
источник

4

Другой вариант с питоном:

#!/usr/bin/env python3
[print(l, end = "") for l in open(f).readlines() if not l.startswith("HERE IT IS")]

Где f - путь к файлу между кавычками.

— Якоб Влейм
источник

4

Grep

grep -P '^(?!HERE IT IS)' file

(?!HERE IT IS)отрицательное утверждение, которое заставляет механизм регулярных выражений соответствовать всей начальной границе строки ( которая обычно соответствует^ ), только если за ней не следует строкаHERE IT IS

питон

#!/usr/bin/python3
import sys
fil = sys.argv[1]
with open(fil) as f:
    for line in f:
        if not line.startswith('HERE IT IS'):
            print(line, end="")

Сохраните скрипт в файле, скажем, script.pyа затем запустите его с помощью приведенной ниже команды на терминале.

python3 script.py infile

— Авинаш Радж
источник

вы можете использовать регулярные выражения, [print(l, end = "") for l in open(fil).readlines() if not re.match("HERE IT IS", l)]но это не намного эффективнее, чем startswith. Я задавался вопросом, как [print(l, end = "") for l in open(f).readlines() if not l.startswith("HERE IT IS")]не будет производить вывод в списке.

— Авинаш Радж

Когда я впервые столкнулся с этим, мне это показалось странным. Он генерирует команду печати (или любое другое действие, которое вы хотите выполнить с ней) для всех элементов в определенном списке.

— Джейкоб Влейм

Удаление его, просто для удовольствия :)

— Jacob Vlijm

1

Вы можете использовать Vim в режиме Ex:

ex -sc 'g/^HERE IT IS/d' -cx file

g глобальный поиск
d удалять
x сохранить и закрыть

— Стивен Пенни
источник