Как удалить повторяющиеся строки в большом текстовом файле размером в несколько ГБ?

Мой вопрос похож на этот вопрос, но имеет несколько ограничений:

• У меня большой список \nслов с разделителями - по одному слову в строке. Размер файлов варьируется от 2 ГБ до 10 ГБ.
• Мне нужно удалить любые дубликаты строк.
• Процесс может сортировать список в процессе удаления дубликатов, но не обязателен.
• В разделе достаточно места для хранения нового уникального выведенного списка слов.

Я попробовал оба этих метода, но они оба терпят неудачу с ошибками нехватки памяти.

sort -u wordlist.lst > wordlist_unique.lst

awk '!seen[$0]++' wordlist.lst > wordlist_unique.lst
awk: (FILENAME=wordlist.lst FNR=43601815) fatal: assoc_lookup: bucket-ahname_str: can't allocate 10 bytes of memory (Cannot allocate memory)

Какие еще подходы я могу попробовать?

Попробуйте использовать сортировку с параметром -o/ --output=FILEвместо перенаправления вывода. Вы также можете попробовать установить buffer-sizeс помощью -S/ --buffer-size=SIZE. Также попробуйте -s/ --stable. И прочитайте справочную страницу, она предлагает всю информацию, которую я дал.

Полная команда, которую вы можете использовать, может работать на то, что вы делаете:

sort -us -o wordlist_unique.lst wordlist.lst

Вы также можете прочитать следующий URL:

http://www.gnu.org/s/coreutils/manual/html_node/sort-invocation.html

Это более подробно объясняет сортировку, чем справочная страница.