Redis: Показать размер базы данных / размер ключей

Мой экземпляр redis, кажется, становится очень большим, и я хотел бы узнать, какая из нескольких баз данных, которые у меня есть, потребляет сколько памяти. INFOКоманда Redis просто показывает мне общий размер и количество ключей для каждой базы данных, что не дает мне особого представления ... Так что любые инструменты / идеи, которые дают мне больше информации при мониторинге сервера Redis, будут оценены.

Документация Redis не показывает мне никаких команд, которые могут вернуть потребленную память определенных ключей, поэтому я предполагаю, что если какой-либо ошибочный код будет записывать много "мусора" в redis, это будет действительно сложно найти ...

Итак, мое решение моей собственной проблемы: поиграв redis-cliнемного дольше, я обнаружил, что DEBUG OBJECT <key>обнаруживается что-то вроде serializedlengthключа, который на самом деле был тем, что я искал ...

Для всей базы данных вам необходимо агрегировать все значения, для KEYS *чего не должно быть слишком сложно с языком сценариев по вашему выбору ...

Плохо то, что у redis.io действительно мало информации DEBUG OBJECT.

Решение из комментариев заслуживает собственного ответа:

redis-cli --bigkeys

MEMORY USAGE key Команда дает вам количество байтов, которое требуется для хранения ключа и его значения в ОЗУ.

Сообщаемое использование - это общее выделение памяти для данных и административных накладных расходов, которые требуются для ключа, соответствующего его значению (исходная документация Redis)

Взгляните на этот проект, он выводит интересную статистику о пространствах ключей на основе регулярных выражений и префиксов. Он использует DEBUG OBJECTкоманду и сканирует базу данных, идентифицируя группы ключей и оценивая процент пространства, которое они занимают.

https://github.com/snmaynard/redis-audit

Результат выглядит так:

Summary  

---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
Key                                                | Memory Usage | Expiry Proportion | Last Access Time                                    
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
notification_3109439                               | 88.14%       | 0.0%              | 2 minutes                               
user_profile_3897016                               | 11.86%       | 99.98%            | 20 seconds  
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  

Или вот этот: https://github.com/sripathikrishnan/redis-rdb-tools, который выполняет полный анализ всего пространства ключей, анализируя файл dump.rdb в автономном режиме. Этот тоже хорошо работает. Он может дать вам средний / минимальный / максимальный размер для записей в вашей базе данных и даже сделает это на основе префикса.

Возможно, вам будет очень полезно взять образцы ключей Redis и сгруппировать их по типу. Сальваторе написал инструмент под названием redis-sampler, который выдает около 10000 RANDOMKEYкоманд, за которыми следуют TYPEизвлеченные ключи. За секунды или минуты вы должны получить довольно точное представление о распределении типов ключей.

Я написал расширение (к сожалению, нигде с открытым исходным кодом, потому что оно связано с работой), которое добавляет немного самоанализа имен ключей с помощью регулярных выражений, которые дают вам представление о том, какие типы ключей приложения (в зависимости от структуры именования вы using), хранятся в Redis. В сочетании с более общим выводом redis-sampler это должно дать вам очень хорошее представление о том, что происходит.

Возможно, вам удастся провести некоторый анализ файла db. Протокол относительно прост (но плохо документирован), поэтому вы можете написать для него парсер, чтобы определить, какие отдельные ключи занимают много места.

Новые предложения:

Вы пробовали использовать, MONITORчтобы посмотреть, что пишется вживую? Возможно, вы найдете проблему с данными в движении.

Вы можете использовать приложение .net https://github.com/abhiyx/RedisSizeCalculator для расчета размера ключа redis,

Пожалуйста, не стесняйтесь оставлять свои отзывы о том же

Я обычно предпочитаю ключевой метод выборки для устранения таких сценариев.

redis-cli -p 6379 -n номер_базы --bigkeys

Например:-

redis-cli -p 6370 -n 0 --bigkeys

Как насчет redis-cli получить KEYNAME | туалет -c