Вопросы с тегом «hdf5»

16
«Большие данные» рабочие потоки с использованием панд
Я пытался найти ответ на этот вопрос в течение многих месяцев, изучая панд. Я использую SAS для своей повседневной работы, и он отлично подходит для поддержки из ядра. Однако SAS ужасен как часть программного обеспечения по многим другим причинам. Однажды я надеюсь заменить свое использование SAS на python и pandas, …

1
Есть ли преимущество в скорости анализа или использовании памяти при использовании HDF5 для хранения больших массивов (вместо плоских двоичных файлов)?
Я обрабатываю большие трехмерные массивы, которые мне часто приходится нарезать различными способами для проведения разнообразного анализа данных. Типичный «куб» может иметь размер ~ 100 ГБ (и, вероятно, в будущем он станет больше). Кажется, что типичный рекомендуемый формат файла для больших наборов данных в python - использовать HDF5 (либо h5py, либо …
97 python  numpy  hdf5  pytables  h5py 
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.