У меня есть несколько файлов с одинаковым заголовком и разными векторами ниже. Мне нужно объединить их все, но я хочу, чтобы объединялся только заголовок первого файла, и я не хочу, чтобы объединялись другие заголовки, поскольку они все одинаковые.

например: file1.txt

<header>INFO=<ID=DP,Number=1,Type=Integer>
<header>INFO=<ID=DP4,Number=4,Type=Integer>
A
B 
C

file2.txt

<header>INFO=<ID=DP,Number=1,Type=Integer>
<header>INFO=<ID=DP4,Number=4,Type=Integer>
D
E 
F

Мне нужен выход, чтобы быть

<header>INFO=<ID=DP,Number=1,Type=Integer>
<header>INFO=<ID=DP4,Number=4,Type=Integer>
A
B
C
D
E 
F

Я мог бы написать сценарий на R, но мне это нужно в оболочке?

Если вы знаете, как сделать это в R, то непременно сделайте это в R. С классическими инструментами Unix это наиболее естественно сделать в awk.

awk '
    FNR==1 && NR!=1 { while (/^<header>/) getline; }
    1 {print}
' file*.txt >all.txt

Первая строка сценария awk соответствует первой строке файла ( FNR==1), за исключением случаев, когда это также первая строка во всех файлах ( NR==1). Когда эти условия выполняются, выражение while (/^<header>/) getline;выполняется, в результате чего awk продолжает читать другую строку (пропуская текущую), пока текущая соответствует регулярному выражению ^<header>. Вторая строка скрипта awk печатает все, кроме строк, которые были пропущены ранее.

Другое решение, аналогичное " cat+grep" сверху, с использованием tailи head:

1. Запишите заголовок первого файла в вывод:

   head -2 file1.txt > all.txt

   - head -2получает 2 первые строки файла.

2. Добавьте содержимое всех файлов:

   tail -n +3 -q file*.txt >> all.txt

   - -n +3делает tailлинию печати с 3 - го до конца, -qговорит ему , чтобы не печатать заголовок с именем файла ( для чтения man), >>добавляет к файлу, а не переписывает его как >.

И, конечно, вы можете поместить обе команды в одну строку:

head -2 file1.txt > all.txt; tail -n +3 -q file*.txt >> all.txt

или вместо того, чтобы ;поставить &&между ними для проверки успеха.

Попробуйте сделать это:

$ cat file1.txt; grep -v "^<header" file2.txt
<header>INFO=<ID=DP,Number=1,Type=Integer>
<header>INFO=<ID=DP4,Number=4,Type=Integer>
A
B 
C
D
E 
F

НОТА

• что -vозначает флаг , чтобы инвертировать матч Grep
• ^в REGEX означает начало строки
• если у вас есть куча файлов, вы можете сделать

:

array=( files*.txt )
{ cat ${array[@]:0:1}; grep -v "^<header" ${array[@]:1}; } > new_file.txt

Это техника нарезки массивов bash .

Команда tail(по крайней мере в GNU) имеет возможность пропустить заданное количество начальных строк. Для печати начиная со второй строки, т.е. пропустите однострочный заголовок, выполните:tail -n+2 myfile

Итак, чтобы сохранить двухстрочный заголовок первого файла, но не второго, в Bash:

cat file1.txt <(tail -n+3 file2.txt) > combined.txt

Или для многих файлов:

head -n1 file1.txt > combined.txt
for fname in *.txt
do
    tail -n+3 $fname >> combined.txt
done

Если известно, что определенная строка присутствует во всех строках заголовка, но никогда не присутствует в остальных входных файлах, grep -vто, как показал спутник , это более простой подход.

Короче (не обязательно быстрее) с sed :

sed -e '3,${/^<header>/d' -e '}' file*.txt > all.txt

Это удалит все строки, начинающиеся со <header>...строки 3, поэтому первый заголовок будет сохранен, а остальные заголовки удалены. Если в заголовке разное количество строк, измените команду соответствующим образом (например, для использования 6-строчного заголовка 7вместо 3).
Если количество строк в заголовке неизвестно, вы можете попробовать вот так:

sed '1{
: again
n
/^<header>/b again
}
/^<header>/d
' file*.txt > all.txt

array = (* .txt); head -1 $ {array [0]}> all.txt; tail -n +2 -q $ {array [@]: 0} >> all.txt

Предполагая, что вы используете папку с файлами .txt с тем же заголовком, который необходимо объединить / объединить, этот код объединит все файлы txt в all.txt с одним заголовком. первая строка (строки, разделенные точкой с запятой) собирает все текстовые файлы для объединения, вторые строки выводят заголовок из первого файла txt в all.txt , а последняя строка объединяет все текстовые файлы, собранные без заголовка (путем запуска конкатенация со строки 2 и далее) и добавляет ее в all.txt .