Как просматривать данные больших временных рядов в интерактивном режиме?

10

Я часто имею дело с разумным размером данных временных рядов, 50-200 миллионов удваивается с соответствующими временными метками и хотел бы динамически их визуализировать.

Существует ли существующее программное обеспечение для этого? Как насчет библиотек и форматов данных? Zoom-кеш - один из примеров библиотеки, ориентированной на большие временные ряды. В Zoom-кэше данные суммируются в нескольких разрешениях, чтобы их было легче просматривать при разных разрешениях.

Изменить: Кроме того, если есть где-то еще, я должен задать этот вопрос или искать ответ, пожалуйста, дайте мне знать.

— Davorak
источник

1

Хотя я понятия не имею, как он будет масштабироваться с таким огромным количеством точек данных, вы можете взглянуть на Cubism.js .

— CHL

Я взглянул на кубизм, который хорошо подходит для инкрементного обновления графиков из последовательных потоков данных, но во время короткого поиска я не увидел ничего о кэшировании нескольких разрешений или сводных данных для ускорения больших наборов данных. Это для указателя, хотя это выглядит как классная библиотека.

— Даворак

1

Вы можете быть заинтересованы в Zoomdata zoomdata.com/product/fast-data-sharpening-visualization Хотя их цены довольно высоки.

— chhantyal

@chhantyal - Спасибо! Это похоже на инструмент, который я искал. Хотя я больше не работаю с теми же наборами данных, я все еще интересуюсь пространством, поэтому я, возможно, в какой-то момент опробую след zoomdata.

— Даворак

2

Существует набор инструментов исследования под названием TimeSearcher 1--3, которые предоставляют некоторые примеры того, как работать с большими наборами данных временных рядов. Ниже приведены примеры изображений из TimeSearcher 2 и 3.

TimeSearcher 2

TimeSearcher 3

— edallme
источник

2

Извините за саморекламу, но Thunderplot (thunderplot.com) будет хорошим кандидатом на это. Я написал это именно для интерактивного построения больших наборов данных. Я не тестировал его с наборами данных по 200КК, но он отлично работает с ~ 10КК строками. Также есть функция «читать каждую N-ую строку», так что вы можете уменьшить объем данных для хранения / визуализации. Я могу отправить вам регистрационный ключ в обмен на один из этих больших наборов данных. :-)

снимок экрана грома

— Вадим Калинский
источник

0

Еще одна публикация, посвященная саморекламе, потому что я работаю в этой компании, но SensorCloud (sensorcloud.com) использует интеллектуальные алгоритмы для очень быстрого построения графиков массивных наборов данных. Первоначально он был разработан с учетом наших физических датчиков, но он имеет загрузчик CSV для обработки любых данных временных рядов.

Например, мы загрузили набор данных, который имел 100 миллиардов точек данных (более 1 терабайта метки времени + значения данных), и вы можете построить его график и очень быстро с ним взаимодействовать.

Вот общедоступная ссылка на этот набор данных: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/

Ссылка выше использует наш Flash Viewer. Если вы не хотите использовать Flash, вот просмотрщик javascript: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/

Используйте колесо прокрутки или Shift + щелчок левой кнопкой мыши для увеличения.

— rwstoneback
источник