Проверьте, все ли строки файла находятся в разных файлах

Я получил два файла: file1 с примерно 10 000 строк и file2 с несколькими сотнями строк. Я хочу проверить, все ли строки file2 встречаются в file1. То есть: ∀ строка ℓ ∈ файл2: ℓ ∈ файл1

Если кто-то не знает, что означают эти символы или что означает «проверить, все ли строки файла2 встречаются в файле1»: несколько эквивалентных строк в обоих файлах не влияют на то, возвращает ли проверка соответствие файла требованиям или нет.

Как мне это сделать?

comm -13 <(sort -u file_1) <(sort -u file_2)

Эта команда выведет строки, уникальные для file_2. Таким образом, если выходные данные пусты, то все file_2строки содержатся в file_1.

От человека комм:

   With  no  options,  produce  three-column  output.  Column one contains
   lines unique to FILE1, column two contains lines unique to  FILE2,  and
   column three contains lines common to both files.

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

[ $(grep -cxFf file2 <(sort -u file1)) = $(sort -u file2 | wc -l) ] && 
  echo all there || 
  echo some missing

Если количество совпадений из file2 в (уникальных строках) file1 совпадает с количеством уникальных строк в file2, то все они есть; в противном случае они не.

Использование GNU, awkгде он поддерживает определенные length(array)функции (и некоторые другие awkреализации, которые могут поддерживать) и не требуется, если файлы отсортированы.

gawk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{print (!length(seen))?"Matched":"Not Matched"}' file2 file1

Это чтение файла2 в массив, называемый seenключом как целая строка файла2 .

Затем прочитайте file1 и для каждой строки, если она совпадает со строками в массиве, затем удалите этот ключ.

В конце, если массив был пустым, это означает, что все строки в файле2 существуют в файле1 и будут напечатаны Matched, в противном случае будет отображаться Not Matched.

Для совместимости во всех awkреализациях.

awk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{for(x in seen);print (!x)?"Matched":"Not Matched"}' file2 file1

Чтобы игнорировать пустые строки / или строки с пробелами только в случае file2 , вам необходимо добавить NFусловие в, NR==FNR && NF {...чтобы пропустить чтение их в массив.

С помощью commвы можете найти строки, которые являются общими в обоих файлах.

comm -12 file1 file2

Посмотрите на man commболее подробную информацию

diff -q <(sort -u file2) <(grep -Fxf file2 file1 | sort -u)

не будет производить никакого вывода , если file1содержит все строки в file2и выйти со статусом 0, в противном случае он будет печатать что - то вроде

Files /proc/self/fd/11 and /proc/self/fd/12 differ

и выйти со статусом 1

Используйте программу на Python:

#!/usr/bin/env python3
import sys

def open_arg(path):
    return sys.stdin if path == '-' else open(path)

def strip_linebreak(s):
    return s[:-1] if s.endswith('\n') else s

with open_arg(sys.argv[1]) as pattern_file:
    patterns = set(map(strip_linebreak, pattern_file))

with open_arg(sys.argv[2]) as dataset_file:
    for l in map(strip_linebreak, dataset_file):
        patterns.remove(l)
        if not patterns:
            break

sys.exit(int(bool(patterns)))

Использование:

python3 contains-all.py file2 file1

Состояние завершения программы указывает, были ли сопоставлены все шаблоны файла 2:

• 0 (успех) означает, что все шаблоны были сопоставлены.
• 1 (сбой) означает, что некоторые шаблоны не были сопоставлены.

Для запроса состояния выхода в оболочке (сценарий) , вы можете использовать либо $?специальные переменные или другие выражения , которые оценивают состояние выхода команды, например , оператор от короткого замыкания &&и ||и условных выражения , как ifили while. Пример:

if python3 compare-all.py file2 file1 && some-other --condition; then
    # do stuff
fi

combineиз moreutils покажет вам все строки file2, которые не связаны file1с:

combine file2 not file1

Затем вы можете посчитать количество строк, добавив его wc -l, например:

if [ $(combine file2 not file1 | wc -l) != 0 ]; then
  echo "lines missing"
else
  echo "You're fine"
fi