Панды теперь быстрее, чем data.table?

https://github.com/Rdatatable/data.table/wiki/Benchmarks-%3A-Grouping

Тесты data.table не обновлялись с 2014 года. Я слышал где-то, что Pandasсейчас быстрее, чем data.table. Это правда? Кто-нибудь делал какие-либо тесты? Я никогда не использовал Python раньше, но подумал бы о переключении, если pandasможет победить data.table?

Кто-нибудь делал какие-либо тесты?

Да, эталонный тест, который вы указали в своем вопросе, был недавно обновлен для последней версии data.table и pandas. Дополнительно было добавлено другое программное обеспечение. Вы можете найти обновленный эталонный тест по адресу https://h2oai.github.io/db-benchmark.
К сожалению, он запланирован на 125 ГБ памяти (а не на 244 ГБ как оригинал). В результате pandas и dask не могут сделать попытку данных groupbyна 1e9 строк (50GB csv), потому что им не хватает памяти при чтении данных. Так что для панд против data.table вы должны посмотреть на данные 1e8 строк (5 ГБ).

Чтобы не просто связать контент, который вы запрашиваете, я вставляю последние сроки этих решений.

пожалуйста, обратите внимание, что эти сроки устарели,
посетите https://h2oai.github.io/db-benchmark для получения обновленных таймингов.

| in_rows|question              | data.table| pandas|
|-------:|:---------------------|----------:|------:|
|   1e+07|sum v1 by id1         |      0.140|  0.414|
|   1e+07|sum v1 by id1:id2     |      0.411|  1.171|
|   1e+07|sum v1 mean v3 by id3 |      0.574|  1.327|
|   1e+07|mean v1:v3 by id4     |      0.252|  0.189|
|   1e+07|sum v1:v3 by id6      |      0.595|  0.893|
|   1e+08|sum v1 by id1         |      1.551|  4.091|
|   1e+08|sum v1 by id1:id2     |      4.200| 11.557|
|   1e+08|sum v1 mean v3 by id3 |     10.634| 24.590|
|   1e+08|mean v1:v3 by id4     |      2.683|  2.133|
|   1e+08|sum v1:v3 by id6      |      6.963| 16.451|
|   1e+09|sum v1 by id1         |     15.063|     NA|
|   1e+09|sum v1 by id1:id2     |     44.240|     NA|
|   1e+09|sum v1 mean v3 by id3 |    157.430|     NA|
|   1e+09|mean v1:v3 by id4     |     26.855|     NA|
|   1e+09|sum v1:v3 by id6      |    120.376|     NA|

В 4 из 5 вопросов data.table быстрее, и мы видим, что он лучше масштабируется.
Сразу отмечу , это тайминги как сейчас , где id1, id2и id3являются символьными полями. Те будут изменены скоро категоричен DONE . Кроме того, существуют другие факторы, которые могут повлиять на эти временные параметры в ближайшем будущем (например, группирование в параллельном режиме DONE ). Мы также собираемся добавить отдельные контрольные показатели для данных, имеющих NA , и различного кардинальности DONE .

Другие задачи , приходят к этому непрерывному проекту бенчмаркинг , так что если вы заинтересованы в том join, sort, readи других , не забудьте проверить его позже.
И, конечно же, вы можете оставить отзыв в репо проекта!

Мы с коллегой провели предварительные исследования различий в производительности между пандами и таблицей данных. Вы можете найти исследование (которое было разделено на две части) в нашем блоге (вы можете найти вторую часть здесь ).

Мы выяснили, что есть некоторые задачи, в которых pandas явно превосходит data.table, но также случаи, когда data.table намного быстрее. Вы можете проверить это сами и сообщить нам, что вы думаете о результатах.

РЕДАКТИРОВАТЬ:
Если вы не хотите читать блоги подробно, вот краткое изложение нашей настройки и наших выводов:

Настроить

Мы сравнили pandasи data.tableна 12 различных смоделированных наборах данных по следующим операциям (пока), которые мы назвали сценариями.

• Извлечение данных с помощью операции выбора
• Фильтрация данных с условной операцией выбора
• Операции сортировки данных
• Операции агрегации данных

Расчеты проводились на машине с процессором Intel i7 2,2 ГГц с 4 физическими ядрами, 16 ГБ ОЗУ и жестким диском SSD. Версии программного обеспечения были OS X 10.13.3, Python 3.6.4 и R 3.4.2. Соответствующие версии библиотеки были 0,22 для панд и 1.10.4-3 для data.table

В двух словах

• data.tableкажется, быстрее при выборе столбцов ( pandasв среднем занимает 50% больше времени)
• pandas быстрее фильтрует строки (в среднем примерно 50%)
• data.tableкажется, значительно быстрее при сортировке ( pandasиногда был в 100 раз медленнее)
• добавление нового столбца происходит быстрее с pandas
• результаты агрегирования полностью смешаны

Обратите внимание, что я старался максимально упростить результаты, чтобы не утомлять вас до смерти. Для более полной визуализации прочитайте исследования. Если вы не можете получить доступ к нашей веб-странице, пожалуйста, отправьте мне сообщение, и я перешлю вам наш контент. Вы можете найти код для полного изучения на GitHub . Если у вас есть идеи, как улучшить нашу учебу, пожалуйста, напишите нам по электронной почте. Вы можете найти наши контакты на GitHub.

Нет, на самом деле, если размер набора данных оооочень велик из-за сбоя панд, вы в основном застряли в dask, который отстой, и вы даже не можете сделать простую групповую сумму. Dplyr не может быть быстрым, но это не портит.

В настоящее время я работаю над небольшим набором данных 2G, и простой print(df.groupby(['INCLEVEL1'])["r"].sum())сбой в работе.

Не было этой ошибки с dplyr.

Итак, если панды могут обрабатывать набор данных, я использую панд, если нет, придерживаюсь таблицы данных R.

И да, вы можете преобразовать dask обратно в фрейм данных pandas с помощью простого, df.compute() но это занимает довольно много времени, так что вы могли бы просто терпеливо ждать загрузки панд или чтения данных.

Я знаю, что это старый пост, но подумал, что стоит упомянуть - использование перо (в R и в Python) позволяет работать с фреймами данных / таблицами данных и обмениваться этими результатами через перо.

Смотрите страницу Github из перьев