Выберите строки из текстового файла, идентификаторы которых указаны в другом файле

Я использую много сортировки grep awk в моей оболочке Unix для работы с текстовыми файлами столбцов, разделенных табуляцией среднего размера (около 10–100 млн строк). В этом отношении Unix Shell - моя электронная таблица.

Но у меня есть одна огромная проблема - выбор записей по списку идентификаторов.

Имея table.csvфайл с форматом id\tfoo\tbar...и ids.csvфайл со списком идентификаторов, выберите только записи table.csvс идентификатором, присутствующим в ids.csv.

вид /programming/13732295/extract-all-lines-from-text-file-based-on-a-given-list-of-ids, но с оболочкой, а не perl.

grep -Fочевидно, дает ложные срабатывания, если идентификаторы имеют переменную ширину. joinэто утилита, которую я никогда не мог понять. Прежде всего, это требует алфавитной сортировки (мои файлы обычно сортируются по номерам), но даже тогда я не могу заставить его работать, не жалуясь на неправильный порядок и пропуская некоторые записи. Так что мне это не нравится. grep -f для файла с ^id\t-s очень медленный, когда количество идентификаторов велико. awkэто громоздко.

Есть ли хорошие решения для этого? Какие-нибудь специальные инструменты для файлов, разделенных табуляцией? Дополнительная функциональность также будет приветствоваться.

UPD: исправлено sort->join

Я думаю, вы grep -fне имели в виду, grep -Fно на самом деле вам нужно сочетание обоих и -w:

grep -Fwf ids.csv table.csv

Причина, по которой вы получили ложные срабатывания (я думаю, вы не объяснили), потому что если идентификатор может содержаться в другом, то оба будут напечатаны. -wустраняет эту проблему и -Fгарантирует, что ваши шаблоны обрабатываются как строки, а не как регулярные выражения. От man grep:

   -F, --fixed-strings
          Interpret PATTERN as a  list  of  fixed  strings,  separated  by
          newlines,  any  of  which is to be matched.  (-F is specified by
          POSIX.)
   -w, --word-regexp
          Select  only  those  lines  containing  matches  that form whole
          words.  The test is that the matching substring must  either  be
          at  the  beginning  of  the  line,  or  preceded  by  a non-word
          constituent character.  Similarly, it must be either at the  end
          of  the  line  or  followed by a non-word constituent character.
          Word-constituent  characters  are  letters,  digits,   and   the
          underscore.

   -f FILE, --file=FILE
          Obtain  patterns  from  FILE,  one  per  line.   The  empty file
          contains zero patterns, and therefore matches nothing.   (-f  is
          specified by POSIX.)

Если вы получили ложные срабатывания из-за того, что идентификатор может присутствовать в поле, не являющемся идентификатором, вместо этого переберите файл:

while read pat; do grep -w "^$pat" table.csv; done < ids.csv

или быстрее:

xargs -I {} grep "^{}" table.csv < ids.csv

Лично я бы сделал это, perlхотя:

perl -lane 'BEGIN{open(A,"ids.csv"); while(<A>){chomp; $k{$_}++}} 
            print $_ if defined($k{$F[0]}); ' table.csv

joinУтилита, что вы хотите. Требуется лексическая сортировка входных файлов.

Предполагая, что ваша оболочка bash или ksh:

join -t $'\t' <(sort ids.csv) <(sort table.csv)

Без необходимости сортировки, обычное решение awk

awk -F '\t' 'NR==FNR {id[$1]; next} $1 in id' ids.csv table.csv

Ответы на этот ТАКОЙ вопрос помогли мне обойти ниггеры с помощью join. По сути, когда вы сортируете файл в процессе подготовки к отправке для присоединения, вам нужно убедиться, что вы сортируете по столбцу, к которому вы присоединяетесь. Так что, если это первый, вам нужно указать ему, какой символ разделителя находится в файле и что вы хотите, чтобы он сортировался в первом поле (и только в первом поле). В противном случае, если первое поле имеет переменную ширину (например), ваши разделители и, возможно, другие поля могут начать влиять на порядок сортировки.

Итак, используйте опцию -t sort, чтобы указать разделяющий символ, и опцию -k, чтобы указать поле (помня, что вам нужно поле начала и конца - даже если оно одинаковое - или оно будет отсортировано по этому символу до конца строки).

Поэтому для файла, разделенного табуляцией, как в этом вопросе, должно работать следующее (благодаря ответу Гленна за структуру):

join -t$'\t' <(sort -d ids.csv) <(sort -d -t$'\t' -k1,1 table.csv) > output.csv

(Для справки, флаг -d означает сортировку по словарю. Вы также можете использовать флаг -b, чтобы игнорировать начальные пробелы, смотрите man sortи man join).

В качестве более общего примера, предположим, что вы объединяете два файла, разделенных запятыми - input1.csvв третьем столбце и input2.csvв четвертом. Вы могли бы использовать

join -t, -1 3 -2 4 <(sort -d -t, -k3,3 input2.csv) <(sort -d -t, -k4,4 input2.csv) > output.csv

Здесь параметры -1и -2указывают, к каким полям нужно присоединиться в первом и втором входных файлах соответственно.

Вы также можете использовать ruby, чтобы сделать нечто подобное:

ruby -pe 'File.open("id.csv").each { |i| puts i if i =~ /\$\_/ }' table.csv