Количество файлов в каталоге

У меня есть каталог с около 100000 небольших файлов (каждый файл из 1-3 строк, каждый файл является текстовым файлом). По размеру каталог не очень большой (<2 ГБ). Эти данные хранятся на профессионально управляемом сервере NFS. Сервер работает под управлением Linux. Я думаю, что файловая система ext3, но я точно не знаю. Кроме того, у меня нет корневого доступа к серверу.

Эти файлы являются результатом крупномасштабного научного эксперимента, который я не могу контролировать. Тем не менее, я должен проанализировать результаты.

Любая операция ввода / вывода в этом каталоге выполняется очень и очень медленно. Открытие файла (fopen в python), чтение из открытого файла, закрытие файла, все очень медленно. В bash ls, du и т. Д. Не работают.

Вопрос в том:

Каково максимальное количество файлов в каталоге в Linux таким образом, чтобы было удобно выполнять обработку, fopen, чтение и т. Д.? Я понимаю, что ответ зависит от многих вещей: типа fs, версии ядра, версии сервера, аппаратного обеспечения и т. Д. Я просто хочу иметь практическое правило, если это возможно.

filesystems large-files

— carlosdc
источник

На ваш прямой вопрос хорошо ответил Джайлз, но в целом файловые системы Linux являются плохой заменой баз данных, когда вы используете имена файлов в качестве ключей для крошечных кусочков данных. Вы не контролируете генерацию, но вы можете пост-обработать данные в форму, более пригодную для анализа; в противном случае вы будете платить за файловую систему на каждом этапе. Вы можете уменьшить накладные расходы, но вы можете быть счастливее, если устраните их.

— 2010 года

Кроме того, смотрите этот stackoverflow.com/questions/466521/…

— Кристи

Как вы предполагаете, это зависит от многих вещей, в основном от типа и параметров файловой системы и в некоторой степени от версии ядра. В серии ext2 / ext3 / ext4 произошло значительное улучшение, когда dir_indexпоявилась опция (через некоторое время после первоначального выпуска ext3): она позволяет хранить каталоги как деревья поиска (логарифмический доступ по времени), а не как линейные списки (линейный доступ по времени). ). Это не то, что вы можете увидеть по NFS, но если у вас есть какой-то контакт с администраторами, вы можете попросить их запустить tune2fs -l /dev/something |grep features(возможно, даже убедить их обновить?). Имеет значение только количество файлов, а не их размер.

Даже с dir_index, 100000 чувствует себя большим. В идеале, получить авторов программы, которая создает файлы для добавления уровня подкаталогов. Чтобы не снизить производительность, я бы рекомендовал ограничить около 1000 файлов на каталог для ext2 или ext3 без dir_indexи 20000 с dir_indexили reiserfs. Если вы не можете контролировать, как создаются файлы, переместите их в отдельные каталоги, прежде чем делать что-либо еще.

— Жиль "ТАК - перестань быть злым"
источник