Список аргументов слишком длинный для ls

Я получаю следующую ошибку при попытке в ls *.txt | wc -lкаталог, который содержит много файлов:

-bash: /bin/ls: Argument list too long

Зависит ли порог этого «списка аргументов» от спецификаций дистрибутива или компьютера? Обычно я бы передавал результат такого большого результата некоторым другим командам ( wc -lнапример), поэтому меня не касаются ограничения терминала.

Ваш список аргументов сообщения об ошибке слишком длинный исходит от * of ls *.txt.

Эти ограничения безопасны как для бинарных программ, так и для вашего ядра. На этой странице вы увидите больше информации об этом, а также о том, как он используется и вычисляется.

Там нет такого ограничения на размер трубы. Таким образом, вы можете просто выполнить эту команду:

find -type f -name '*.txt'  | wc -l

NB. В современном Linux странные символы в именах файлов (например, переводы строк) будут экранированы такими инструментами, как lsили find, но все равно будут отображаться из * . Если вы работаете на старом Unix, вам понадобится эта команда

find -type f -name '*.txt' -exec echo \;  | wc -l

NB2: Мне было интересно, как можно создать файл с новой строкой в ​​его имени. Это не так сложно, если вы знаете хитрость:

touch "hello
world"

Это зависит главным образом от вашей версии ядра Linux.

Вы должны увидеть ограничение для вашей системы, запустив

getconf ARG_MAX

где указано максимальное количество байтов, которое может иметь командная строка после расширения оболочкой.

В Linux <2.6.23 ограничение обычно составляет 128 КБ.

В Linux> = 2.6.25 ограничение составляет 128 КБ или 1/4 размера стека (см. ulimit -s), В зависимости от того, что больше.

Смотрите man-страницу execve (2) для всех деталей.

К сожалению, трубопровод ls *.txtне решит проблему, потому что ограничение находится в операционной системе, а не в оболочке.

Оболочка расширяется *.txt, затем пытается вызвать

exec("ls", "a.txt", "b.txt", ...)

и у вас есть столько подходящих файлов, *.txtчто вы превышаете ограничение в 128 КБ.

Вам придется сделать что-то вроде

find . -maxdepth 1 -name "*.txt" | wc -l

вместо.

(И см. Комментарии Шона Дж. Гоффа ниже об именах файлов, которые содержат переводы строк.)

Другой обходной путь:

ls | grep -c '\.txt$'

Несмотря на то, что lsвыводит больше данных, чем ls *.txtпроизводит (или пытается произвести), он не сталкивается с проблемой «слишком длинный аргумент», потому что вы не передаете никаких аргументов ls. Обратите внимание, что grepтребуется регулярное выражение, а не шаблон сопоставления файлов.

Вы можете использовать:

ls -U | grep -c '\.txt$'

(при условии, что ваша версия lsподдерживает эту опцию). Это говорит lsне сортировать вывод, что может сэкономить время и память - и в этом случае порядок не имеет значения, так как вы просто считаете файлы. Ресурсы, потраченные на сортировку выходных данных, обычно незначительны, но в этом случае мы уже знаем, что у вас очень большое количество *.txtфайлов.

И вам следует подумать о реорганизации ваших файлов, чтобы их не было так много в одном каталоге. Это может или не может быть осуществимо.

MAX_ARG_PAGES представляется параметром ядра. Использование findи xargsявляется типичной комбинацией для преодоления этого ограничения, но я не уверен, что это сработает wc.

Передача выходных данных find . -name \*\.txtв файл и подсчет строк в этом файле должны использоваться в качестве обходного пути.

Это может быть грязно, но это работает для моих нужд и в пределах моей компетенции. Я не думаю, что это работает очень быстро, но это позволило мне продолжить мой день.

ls | grep jpg | <something>

Я получал список из 90000 jpgs и отправлял их в avconv, чтобы создать интервал времени.

Ранее я использовал ls * .jpg | avconv, прежде чем я столкнулся с этой проблемой.