Какое максимальное количество файлов может содержать папка Unix?

20

Я думаю, что это будет так же, как количество файлов.

linux unix filesystems

— Питер Мортенсен
источник

3

Гораздо лучший вопрос может быть: сколько я должен использовать? stackoverflow.com/questions/466521/…

— Йоахим Зауэр

1

Мне бы очень хотелось, чтобы URL моего сайта выглядели как site.com/username/ и так далее, но я думаю, что (если мне повезет) получат более 2 миллионов пользователей, которые будут иметь более 2 миллионов папок, поскольку я не хочу использовать скрипт, такой как PHP, с modrewrite, я искал другие возможности папок в папке

1

Сделайте себе одолжение и создайте подкаталоги со схемой переписывания.

— Питер Айзентраут

19

Зависит от файловой системы, http://en.wikipedia.org/wiki/Comparison_of_file_systems

— basszero
источник

9

Мне больше понравилась эта таблица, когда в ней был столбец, в котором говорилось, убьет ли файловая система вашу жену или нет.

— Пол Томблин

смешно !

— Зак

2

en.wikipedia.org/w/…

— Зак

14

На всех современных файловых системах Unix каталог может содержать практически неограниченное количество файлов. Принимая во внимание, что «неограниченный» ограничен дисковым пространством и inode - что бы ни заканчивалось сначала.

Со старыми проектами файловой системы ( ext2 , UFS , HFS + ) дела идут медленно, если у вас много файлов в каталоге. Обычно вещи начинают становиться болезненными около 10000 файлов. С новыми файловыми системами ( ReiserFS , XFS , ZFS , UFS2 ) вы можете хранить миллионы файлов в каталоге, не видя узких мест в производительности.

Но наличие такого количества файлов в каталоге плохо проверено, и есть много инструментов, которые не справляются с этим. Например, сценарии периодического технического обслуживания системы могут препятствовать этому.

Я с радостью использовал каталог с несколькими миллионами файлов в UFS2 и не видел проблем, пока не захотел удалить каталог - это заняло несколько ДНЕЙ.

— Максимум
источник

12

Это зависит от того, сколько инодов была создана файловая система. проведение

df -i

даст вам количество бесплатных инодов. Это практический предел того, сколько файлов может содержать файловая система и, следовательно, каталог.

— Питер Мортенсен
источник

1

Однако многие файловые системы имеют ограничение на количество файлов в каталоге, независимо от количества свободных инодов.

1

да, но вопрос был нацелен на файловые системы UNIX, и, насколько мне известно, все современные файловые системы UNIX не ограничивают количество файлов в каталоге.

6

Я предполагаю, что вы думаете о хранении большого количества файлов в одном месте, нет?

Большинство современных файловых систем Unix могут помещать множество файлов в один каталог, но такие операции, как следование по пути, перечисление файлов и т. Д., Включают в себя линейный поиск по списку файлов и замедляются, если список становится слишком большим.

Кажется, я помню, что слышал, что пара тысяч - это слишком много для практического использования. Типичное решение - разбить группу на группы. То есть,

/some/path/to/dir/a/
/some/path/to/dir/b/
...
/some/path/to/dir/z/

и сохраните ваши файлы в соответствующем подкаталоге в соответствии с их хешем basename. Выберите удобный хеш, первый символ может сделать для простых случаев.

Кристиан Чиупиту пишет в комментариях, что XFS и, возможно, другие очень новые файловые системы используют log(N)структуры с возможностью поиска для хранения содержимого каталога, поэтому это ограничение значительно улучшается .

— dmckee
источник

5

Некоторые современные файловые системы, например XFS, не включают линейный поиск. Технология XFS B-Tree позволяет ему напрямую переходить к блокам и / или экстентам, содержащим местоположение файла, с использованием сложных индексов (из uoks.uj.edu.pl/resources/flugor/IRIX/xfs-whitepaper.html ).

— Кристиан Чиупиту

Ах! Я этого не знал. Спасибо. Добавлю в текст.

— dmckee

1

Для ext3 вы должны активировать функцию "dir_index", ср. tune2fs (8).

0

ext3Один из наиболее распространенных форматов файловой системы Linux становится очень медленным, если у вас есть около 20k + файлов в каталоге. Независимо от того, сколько он может хранить, вы должны стараться избегать того, чтобы столько файлов находилось в одном каталоге.

— Рори
источник

0

Из комментария, который вы оставили, я думаю, что вам не важно, сколько файлов / папок может разместить ваша FS.

Вам, вероятно, следует подумать об использовании ModRewrite и переписать site.com/username для site.com/?user= или что-то в этом роде и сохранить все ваши данные в базе данных. Создание одной папки для пользователя обычно не требуется (и не является хорошей идеей).

Тем не менее, каждая файловая система имеет ограничения и dfможет сказать вам, сколько inode доступно в каждом разделе вашей системы.

— ℝaphink
источник