Я думаю, ext3 (или ext4), может быть, JFS будет хорошим решением. Я был бы осторожен с ext4 и btrfs (файловые системы хитры - будьте готовы к резервному копированию, если вы хотите использовать новейшие, самые новые вещи).
Существуют также различные параметры, которые вы можете настроить во время mkfs, чтобы настроить файловую систему по своему вкусу.
Я бы определенно рекомендовал против XFS. Не потому, что это плохая файловая система, но создание / удаление - дорогостоящая операция над ней.
Чтобы избежать проблем с поиском в каталоге, используйте интеллектуальную схему именования, например:
<first letter of id>_<last letter of id>/<id>
или аналогичные, более сложные схемы. Это ускорит ваш поиск в каталоге и, следовательно, общую скорость доступа. (Это старый трюк Unix, я думаю, из V7)