Как вы хотите, чтобы ваши данные хранятся? Не существует реального способа создать «универсальную» службу данных, которая действительно отвечала бы всем потребностям. То, что вы хотите, называется «Базы данных временных рядов» , и их сотни, потому что каждая деталь того, как вы храните данные, имеет значение в масштабе. (Если вы не в масштабе, просто сохраните его в любой старой базе данных, это будет работать некоторое время.)
Каждая база данных временных рядов была написана, потому что другие не делали точно так, как они хотели. Например, рассмотрим, как Graphite хранит свои данные: каждая метрика (скажем, температура из одного источника) хранится в файле фиксированного размера. Независимо от того, как часто вы отправляете метрики или как долго вы их отправляете, файл имеет постоянный размер.
Недостатком является то, что более старые данные имеют более низкое разрешение, а после заданного вами интервала (например, 1 год) данные выбрасываются. Но положительным моментом является то, что составлять график за день так же быстро, как и за год, а показатели не увеличиваются в размерах с течением времени.
В других системах хранения создание графика за год может потребовать выборки миллионов точек данных и может потребовать огромных объемов хранения данных.
Большим недостатком Graphite является то, что каждая метрика создает новый файл, поэтому, если у вас есть динамические метрики (например, облачные коробки, приходящие и уходящие), он может не подойти.
Сравните это с Прометеем , где метрики хранятся в основном по времени. Вы можете иметь много динамических метрик, и это нормально. Но не пытайтесь хранить эти показатели в долгосрочной перспективе, потребуется много времени, чтобы вернуться и прочитать их.
Ни один размер не подойдет всем.
PS Graphana - отличный способ визуализировать ваши данные. Он имеет плагины для большинства баз данных временных рядов.
Кто собирается хранить ваши данные? Есть тысячи из мест , таких как те , которые вы упомянули. Так легко раскрутить базу данных временных рядов в облаке, но ДЕЙСТВИТЕЛЬНО трудно на этом заработать. Большинство этих компаний через некоторое время обанкротятся или начнут взвинчивать цены. (Даже поддержание стабильных цен приводит к взвинчиванию цен, поскольку стоимость вычислений постоянно снижается.) Много раз они обнаруживают, что не могут привлечь столько новых клиентов, сколько хотят, поэтому пытаются поднять цены (под маской). изменить свою модель ценообразования). Оказывается, для хранения данных всех стоит МНОГО денег ...
Я рекомендую самостоятельно принять хостинг или использовать надежного облачного провайдера, такого как AWS CloudWatch . (Дорого, если у вас много метрик, но бесплатно для менее 50 метрик!)