Как удалить дубликаты строк внутри текстового файла?

Огромный (до 2 ГиБ) мой текстовый файл содержит около 100 точных дубликатов каждой строки в нем (в моем случае это бесполезно, поскольку файл представляет собой таблицу данных, похожую на CSV).

Что мне нужно, так это удалить все повторения, при этом (желательно, но этим можно пожертвовать ради значительного повышения производительности), сохраняя первоначальный порядок последовательности. В результате каждая строка должна быть уникальной. Если было 100 одинаковых строк (обычно дубликаты распределяются по файлу и не будут соседями), остается только один из них.

Я написал программу на Scala (рассмотрим Java, если вы не знаете о Scala), чтобы реализовать это. Но, может быть, есть более быстрые собственные инструменты, написанные на C, способные сделать это быстрее?

ОБНОВЛЕНИЕ: awk '!seen[$0]++' filenameрешение, казалось, работало очень хорошо для меня, пока файлы были около 2 ГБ или меньше, но теперь, когда я собираюсь очистить файл 8 ГБ, оно больше не работает. Кажется, что бесконечность на Mac с 4 ГБ ОЗУ и 64-битном ПК с Windows 7 с 4 ГБ ОЗУ и подкачкой 6 ГБ просто не хватает памяти. И я не испытываю энтузиазма по поводу того, чтобы попробовать это на Linux с 4 ГБ RAM, учитывая этот опыт.

awkРешение видно на #bash (Freenode):

awk '!seen[$0]++' filename

Существует простой (не сказать очевидный) метод, использующий стандартные утилиты, который не требует большого объема памяти, кроме как для запуска sort, который в большинстве реализаций имеет специфические оптимизации для больших файлов (хороший алгоритм внешней сортировки). Преимущество этого метода в том, что он зацикливается только на всех строках внутри специальных утилит, а не внутри интерпретируемых языков.

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

Если все строки начинаются с непробельного символа, вы можете обойтись без некоторых параметров:

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

Для большого количества дублирования метод, который требует только сохранения одной копии каждой строки в памяти, будет работать лучше. С некоторыми дополнительными интерпретациями для этого есть очень лаконичный сценарий awk (уже опубликованный enzotib ):

<input awk '!seen[$0]++'

Менее сжато: !seen[$0] {print} {seen[$0] += 1}то есть вывести текущую строку, если она еще не видна, затем увеличить seenсчетчик для этой строки (неинициализированные переменные или элементы массива имеют числовое значение 0).

Для длинных строк вы можете сэкономить память, сохраняя только несанкционированную контрольную сумму (например, криптографический дайджест) каждой строки. Например, используя SHA-1, вам нужно всего 20 байтов плюс постоянные издержки на строку. Но вычисление дайджестов происходит довольно медленно; Этот метод выиграет, только если у вас быстрый ЦП (особенно с аппаратным ускорителем для вычисления дайджестов) и не достаточно памяти относительно размера файла и достаточно длинных строк. Никакая базовая утилита не позволяет вычислить контрольную сумму для каждой строки; вам придется нести ответственность за интерпретацию Perl / Python / Ruby /… или написать специальную скомпилированную программу.

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

sort -u big-csv-file.csv > duplicates-removed.csv

Обратите внимание, что выходной файл будет отсортирован.

Предполагая, что вы можете позволить себе хранить в памяти столько же дедуплицированного файла (если ваши данные действительно дублируются с коэффициентом 100, что должно составлять около 20 МБ + накладные расходы), вы можете сделать это очень легко с помощью Perl.

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

Это сохраняет порядок тоже.

Вы можете извлечь количество вхождений каждой строки из %dupхэша, если хотите, в качестве дополнительного бесплатного бонуса.

Если вы предпочитаете awk, это должно быть сделано тоже самое (та же логика, что и в версии perl, тот же порядок, те же данные, собранные в dupпеременной):

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

Поскольку никакой другой ответ не предоставил поддержку на месте, вот один:

gawk -i inplace '!a[$0]++' file

Вы можете использовать uniq http://www.computerhope.com/unix/uuniq.htm

uniq сообщает или отфильтровывает повторяющиеся строки в файле.

Лайнеры Python One:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile

Ни один из ответов здесь не работал для меня на моем Mac, поэтому я написал простой скрипт на python, который работает для меня. Я игнорирую начальные / конечные пробелы, а также не заботится о потреблении памяти.

import sys

inputfile = sys.argv[1]
outputfile = sys.argv[2]

with open(inputfile) as f:
    content = f.readlines()

content = [x.strip() for x in content]

my_list = list(set(content))

with open(outputfile, 'w') as output:
    for item in my_list:
        output.write("%s\n" % item)

Сохраните вышеупомянутое в unique.py и запустите так:

python unique.py inputfile.txt outputfile.txt

С bash 4 можно использовать решение с чистым bash, использующее преимущества ассоциативных массивов . Вот пример

unset llist; declare -A llist;
while read -r line; do
if [[ ${llist[$line]} ]]; then
  continue
else 
  printf '%s\n' "$line"
  llist[$line]="x"
fi
done < file.txt