1
Есть ли преимущество в скорости анализа или использовании памяти при использовании HDF5 для хранения больших массивов (вместо плоских двоичных файлов)?
Я обрабатываю большие трехмерные массивы, которые мне часто приходится нарезать различными способами для проведения разнообразного анализа данных. Типичный «куб» может иметь размер ~ 100 ГБ (и, вероятно, в будущем он станет больше). Кажется, что типичный рекомендуемый формат файла для больших наборов данных в python - использовать HDF5 (либо h5py, либо …