Удалить лишние строки заголовка из файла, кроме первой строки

У меня есть файл, который выглядит как этот пример игрушки. В моем текущем файле 4 миллиона строк, около 10 из которых мне нужно удалить.

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
ID  Data1  Data2
4    100    100
ID  Data1  Data2
5    200    200

Я хочу удалить строки, которые выглядят как заголовок, за исключением первой строки.

Конечный файл:

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
4    100    100
5    200    200

Как я могу это сделать?

header=$(head -n 1 input)
(printf "%s\n" "$header";
 grep -vFxe "$header" input
) > output

1. захватить строку заголовка из входного файла в переменную
2. напечатать заголовок
3. обработать файл, grepчтобы пропустить строки, соответствующие заголовку
4. захватить вывод из вышеупомянутых двух шагов в выходной файл

Ты можешь использовать

sed '2,${/ID/d;}'

Это удалит строки с идентификатором, начиная со строки 2.

Для тех, кто не любит фигурные скобки

sed -e '1n' -e '/^ID/d'

• nозначает номер passстроки1
• d удалить все совпадающие строки, которые начинаются с ^ID

Вот веселый Вы можете использовать sedнепосредственно для удаления всех копий первой строки и оставить все остальное на месте (включая саму первую строку).

sed '1{h;n;};G;/^\(.*\)\n\1$/d;s/\n.*$//' input

1{h;n;}помещает первую строку в область удержания, печатает ее и читает следующую строку, пропуская остальные sedкоманды для первой строки. (Он также пропускает этот первый 1тест для второй строки , но это не имеет значения, поскольку этот тест не был бы применен ко второй строке.)

G добавляет новую строку, за которой следует содержимое области удержания, в пространство шаблона.

/^\(.*\)\n\1$/dудаляет содержимое пространства шаблона (таким образом пропуская к следующей строке), если часть после новой строки (то есть то, что было добавлено из области удержания) точно совпадает с частью перед новой строкой. Здесь строки, которые дублируют заголовок, будут удалены.

s/\n.*$// удаляет часть текста, которая была добавлена G командой, так что распечатывается только строка текста из файла.

Однако, поскольку регулярное выражение является дорогостоящим, несколько более быстрый подход состоял бы в том, чтобы использовать то же условие (отрицание) и Pповторную печать до новой строки, если часть после новой строки (то есть то, что было добавлено из пространства удержания) не совсем соответствует части перед новой строкой, а затем безоговорочно удалите пространство шаблона:

sed '1{h;n;};G;/^\(.*\)\n\1$/!P;d' input

Вывод, если дан ваш ввод:

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
4    100    100
5    200    200

Вот еще пара вариантов, которые не требуют, чтобы вы знали первую строку заранее:

perl -ne 'print unless $_ eq $k; $k=$_ if $.==1; 

-nФлаг говорит Perl для цикла по его входному файлу, сохраняя каждую строку как $_. $k=$_ if $.==1;Сохраняет первую линию ( $.номер строки, так $.==1будет верно только для 1 - й линии) , как $k. В print unless $k eq $_печатает текущую строку , если это не то же самое , как один спасен в $k.

В качестве альтернативы, то же самое в awk:

awk '$0!=x;(NR==1){x=$0}' file 

Здесь мы проверяем, совпадает ли текущая строка с той, что сохранена в переменной x. Если тест $0!=xоценивается как true (если текущая строка $0не совпадает с x), строка будет напечатана, потому что действие по умолчанию для awk в выражениях true - это печать. Первая строка ( NR==1) сохраняется как x. Поскольку это делается после проверки соответствия текущей строки x, это гарантирует, что первая строка также будет напечатана.

AWK - вполне приличный инструмент для этой цели. Вот пример запуска кода:

$ awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt | head -n 10                                
ID  Data1  Data2
1    100    100
     100    200
3    200    100
1    100    100
     100    200
3    200    100
1    100    100
     100    200
3    200    100

Сломать :

• NR == 1 {print} говорит нам напечатать первую строку текстового файла
• NR != 1 && $0!~/ID Data1 Data2/ Логический оператор &&указывает AWK напечатать строку, которая не равна 1 и не содержит ID Data1 Data2. Обратите внимание на отсутствие {print}части; в awk, если тестовое условие оценивается как true, предполагается, что строка должна быть напечатана.
• | head -n 10это всего лишь небольшое дополнение, ограничивающее вывод только первыми 10 строками. Не относится к самой AWKчасти, используется только для демонстрационных целей.

Если вы хотите это в файле, перенаправьте вывод команды, добавив > newFile.txtв конце команды, например, так:

awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt > newFile.txt

Как это держится? Довольно неплохо на самом деле:

$ time awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt > /dev/null                            
    0m3.60s real     0m3.53s user     0m0.06s system

Примечание

Сгенерированный пример файла был сделан для того, чтобы выполнить цикл от одного до миллиона и напечатать первые четыре строки вашего файла (таким образом, 4 строки на миллион равны 4 миллионам строк), что, кстати, заняло 0,09 секунды.

awk 'BEGIN{ for(i=1;i<=1000000;i++) printf("ID  Data1  Data2\n1    100    100\n     100    200\n3    200    100\n");  }' > rmLines.txt

Awk, адаптируясь к любому заголовку автоматически:

awk '( FNR == 1) {header=$0;print $0;}
     ( FNR > 1) && ($0 != header) { print $0;}'  file1  file2 ....

то есть, в первой строке получите заголовок и напечатайте его, и последующая строка, ОТЛИЧНАЯ от этого заголовка, будет напечатана.

FNR = количество записей в текущем файле, так что вы можете иметь несколько файлов, и он будет делать то же самое в каждом из них.

Для полноты Perl решение IMO немного более элегантно, чем @terdon:

perl -i -p -e 's/^ID.*$//s if $. > 1' file

Просто немного отодвинем вопрос ... похоже, что ваш вклад сам по себе является результатом объединения нескольких файлов TSV. Если вы можете выполнить резервное копирование шага в конвейере обработки (если вы владеете этим или можете общаться с теми, кто это делает), вы можете использовать инструмент с поддержкой заголовков, чтобы объединить данные в первую очередь и тем самым устранить проблему необходимости удалить лишние строки заголовка.

Например, используя Миллер :

$ cat f1.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
$ cat f2.tsv
ID  Data1 Data2
4 100 100
$ cat f3.tsv
ID  Data1 Data2
5 200 200

$ cat f1.tsv f2.tsv  f3.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
ID  Data1 Data2
4 100 100
ID  Data1 Data2
5 200 200

$ mlr --tsvlite cat f1.tsv f2.tsv  f3.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
4 100 100
5 200 200