Эффективно объединять / сортировать / уникально большое количество текстовых файлов

Я пытаюсь наивно

$ cat * | sort -u > /tmp/bla.txt

который терпит неудачу с:

-bash: /bin/cat: Argument list too long

Таким образом, чтобы избежать глупого решения типа (создает огромный временный файл):

$ find . -type f -exec cat {} >> /tmp/unsorted.txt \;
$ cat /tmp/unsorted.txt | sort -u > /tmp/bla.txt

Хотя я мог обрабатывать файлы один за другим (это должно уменьшить потребление памяти и быть ближе к потоковому механизму):

$ cat proc.sh
#!/bin/sh
old=/tmp/old.txt
tmp=/tmp/tmp.txt
cat $old "$1" | sort -u > $tmp
mv $tmp $old

Затем следует:

$ touch /tmp/old.txt
$ find . -type f -exec /tmp/proc.sh {} \;

Есть ли более простая замена в стиле Unix для: cat * | sort -uкогда количество файлов достигнет MAX_ARG? Нелегко писать небольшой скрипт для такой распространенной задачи.

С GNU sortи printfвстроенной оболочкой (в настоящее время все POSIX-подобные, кроме некоторых вариантов pdksh):

printf '%s\0' * | sort -u --files0-from=- > output

Теперь проблема в том, что, поскольку два компонента этого конвейера запускаются одновременно и независимо, к тому времени, когда левый расширяет *глобус, правый может уже создать outputфайл, который может вызвать проблемы (возможно, не -uздесь) Как outputи входной, и выходной файл, вы можете захотеть, чтобы выходные данные перешли в другой каталог ( > ../outputнапример), или убедитесь, что глобус не соответствует выходному файлу.

Другой способ решения этой проблемы в этом случае - написать:

printf '%s\0' * | sort -u --files0-from=- -o output

Таким образом, он sortоткрывается outputдля записи и (в моих тестах) не будет делать этого, пока не получит полный список файлов (так долго после того, как глобус будет расширен). Это также позволит избежать дублирования, outputесли ни один из входных файлов не будет читаемым.

Другой способ написать это с помощью zshилиbash

sort -u --files0-from=<(printf '%s\0' *) -o output

При этом используется подстановка процесса (где <(...)заменяется путь к файлу, который относится к концу чтения канала, в который printfпроизводится запись). Эта функция взята ksh, но kshтребует расширения <(...)отдельного аргумента для команды, чтобы вы не могли использовать его с --option=<(...)синтаксисом. Это будет работать с этим синтаксисом, хотя:

sort -u --files0-from <(printf '%s\0' *) -o output

Обратите внимание, что вы увидите отличие от подходов, которые catпередают вывод файлов, в тех случаях, когда есть файлы, которые не заканчиваются символом новой строки:

$ printf a > a
$ printf b > b
$ printf '%s\0' a b | sort -u --files0-from=-
a
b
$ printf '%s\0' a b | xargs -r0 cat | sort -u
ab

Также обратите внимание, что sortсортирует, используя алгоритм сортировки в locale ( strcollate()), и sort -uсообщает одну из каждого набора строк, которые сортируются по этому алгоритму, а не уникальные строки на уровне байтов. Если вы заботитесь только об уникальности строк на уровне байтов и не заботитесь о порядке их сортировки, возможно, вы захотите зафиксировать локаль в C, где сортировка основана на значениях байтов ( memcmp(); это, вероятно, ускорит дела обстоят значительно):

printf '%s\0' * | LC_ALL=C sort -u --files0-from=- -o output

Простое исправление работает, по крайней мере, в Bash, поскольку printfвстроено, и ограничения аргументов командной строки к нему не применяются:

printf "%s\0" * | xargs -0 cat | sort -u > /tmp/bla.txt

( echo * | xargsтакже будет работать, за исключением обработки имен файлов с пробелами и т. д.)

find . -maxdepth 1 -type f ! -name ".*" -exec cat {} + | sort -u -o /path/to/sorted.txt

Это объединит все не скрытые обычные файлы в текущем каталоге и отсортирует их объединенное содержимое (при удалении дублированных строк) в файл /path/to/sorted.txt.

Эффективность - это относительный термин, поэтому вам действительно нужно указать, какой фактор вы хотите минимизировать; Процессор, память, диск, время и т. д. В качестве аргумента я собираюсь предположить, что вы хотели минимизировать использование памяти и готовы потратить больше циклов процессора для достижения этой цели. Решения, подобные предложенным Стефаном Шазеласом, хорошо работают

sort -u --files0-from <(printf '%s\0' *) > ../output

но они предполагают, что отдельные текстовые файлы имеют высокую степень уникальности для начала. Если нет, то есть, если после

sort -u < sample.txt > sample.srt

sample.srt более чем на 10% меньше, чем sample.txt, тогда вы сэкономите значительную память, удалив дубликаты в файлах перед объединением. Вы также сэкономите еще больше памяти, не цепляя команды, а это значит, что результаты разных процессов не обязательно должны быть в памяти одновременно.

find /somedir -maxdepth 1 type f -exec sort -u -o {} {} \;
sort -u --files0-from <(printf '%s\0' *) > ../output

Вроде @ilkkachu, но cat (1) не нужен:

printf "%s\0" * | xargs -0 sort -u

Кроме того, если данные слишком длинные, возможно, вы захотите использовать опцию sort (1) --parallel = N

Когда N - это количество процессоров, которые есть у вашего компьютера