Вопросы с тегом «data-storage»

Существуют ли какие-либо инструменты, специально предназначенные для сжатия научных данных с плавающей запятой? Если функция гладкая, очевидно, что числа, представляющие эту функцию, сильно коррелируют, поэтому данные должны хорошо сжиматься. Однако сжатие двоичных данных с плавающей запятой не сжимает их так хорошо. Мне интересно, есть ли метод, специально разработанный для сжатия …

26 data-storage 

Я использую HDF5 в течение многих лет, но с ростом размера набора данных у меня начинаются те же проблемы, что и здесь http://cyrille.rossant.net/moving-away-hdf5/ Можете ли вы указать мне формат HDF5 с - Хорошая поддержка параллельной записи - Поддержка кускового доступа огромных матриц Мой типичный пример использования - целочисленная матрица размером …

15 data-storage 

TL, DR Какова общепринятая практика в научных вычислительных кругах для хранения большого количества иерархически структурированных данных? Например, SQL плохо работает с большими разреженными матрицами. Есть ли хороший инструмент для структурирования, складирования и анализа таких данных? Что используют ребята на LHC? Использовать детали случая Я хочу хранить данные моделирования белка в …

13 data-management  data-storage  data-analysis 

Я не знаком с форматом файлов, используемым в HDF5, но мне интересно, подходят ли файлы HDF5 для контроля версий с помощью git (или, например, Mercurial или Subversion)? Я предполагаю, что я имею в виду: подходят ли файлы HDF5 для линейного сравнения или git должен будет рассматривать HDF5 как один большой …

13 data-management  data-storage