Лучший способ просто хранить данные для статистического анализа в R [закрыто]

Я уже некоторое время использую текстовые файлы для хранения своих данных для R без каких-либо проблем. Но для недавнего проекта размеры файлов становятся слишком большими для необработанных текстовых файлов. Какова лучшая простая альтернатива?

Стандартный подход R заключается в использовании saveи load. Если вы запускаете saveфрейм данных после его импорта и аннотирования, вы можете указать, compress=TRUEи вы будете поражены сжатием и быстрым loadвременем. Это особенно хорошо работает, если размер объекта составляет менее 400 МБ. В противном случае ознакомьтесь с некоторыми из приведенных выше предложений или мощным ffпакетом в R.

В Hmiscупаковке есть маленькие обертки, Saveи, Loadчтобы сделать вышесказанное еще более безболезненным:

mydata <- csv.get(...)  # Hmisc package, has several options
Save(mydata)   # writes mydata.rda to current working directory
....
Load(mydata)   # reads mydata.rda and creates mydata data frame

Взгляните на базы данных SQLite3. Каждая база данных является файлом, поэтому она не требует настройки сервера базы данных.

Чтобы создать базу данных:

$ sqlite3 my_db.db3
> CREATE TABLE my_table ( col1 TEXT );

Для использования с R, https://gist.github.com/lynaghk/1062939

Есть несколько общих вариантов.

• Вы могли бы сжать текст.
• Вы можете перейти на двоичный текст, а не писать в ascii

Большое сжатие зависит от данных.

Я предполагаю (и вы не указали, поэтому я должен догадаться), что вы хотите хранить данные в виде электронных таблиц в чем-то отличном от CSV (с разделителями-запятыми).

Один из моих любимых форматов (я люблю MatLab) - hdf.

Вот связанная с R информация о HDF:

• доступ через пакеты hdf5, h5r, rhdf5, RNetCDF, ncdf и ncdf4 от Bioconductor
• http://www.hdfgroup.org/HDF5/whatishdf5.html

Это суперкомпьютерный формат хранения данных высокой плотности. Это может быть очень быстро и эффективно. Это также (неудивительно) более плотный, чем заархивированный текст.

Стандартные функции чтения файлов в R теперь будут автоматически легко читать сжатые файлы. Итак, просто запустите gzip-сжатие для ваших данных и читайте как всегда, как если бы это был простой текст.

read.table('myfile.gz')