Как устранить застрявшее крупное уплотнение в Apache Cassandra?


14

У меня есть одноузловой кластер Cassandra, который в настоящее время застрял в процессе крупного уплотнения. После выполнения nodetool compactон начал уплотнение, и я вижу файлы tmp-sstable размером 0 байт. Но это все. Нет прогресса в течение нескольких часов.

Я уже остановил службу Cassandra, но после перезапуска он продолжил уплотнение снова без прогресса. А nodetool compactionstatsпоказывает прогресс в 0,00%, а оставшееся время составляет шесть минут. Но я уже ждал 24 часа. Тем временем я остановил всех читателей и писателей, не видя никакой разницы.

Я использую версию 2.1.2. Я уже пробовал с OpenJDK 7 и с Oracle 7 Java, но без разницы.

Журналы не показывают никаких признаков OOM или каких-либо других исключений или предупреждений.

Я не уверен, поможет ли это, но в настоящее время я уезжаю из Кассандры, поскольку это не соответствует моим потребностям. Поэтому я удаляю много данных, которые были перенесены. Есть много строк с несколькими сотнями до нескольких тысяч столбцов. Но есть несколько строк с миллионами столбцов. Теперь у них много надгробий из-за процесса миграции (удаления).

Любая помощь в том, как отладить проблему, приветствуется.


просто идея, вы смотрели в / var / log / syslog или где бы регистрировалось что-то похожее на многие открытые файлы / VM maxmem?
Энтони Гиббс

@AntonyGibbs Ничего подобного. Это мощный физический сервер. Другие службы работают беспрепятственно рядом с Кассандрой.
mailq

1
Вы проверили, привязан ли процесс к процессору, связан с вводом / выводом или заблокирован, ожидая чего-то еще?
kasperd

1
каковы настройки запущенной виртуальной машины Java? мог бы быть мощным сервером, если экземпляр java ограничен 128M, он не получит больше. Звук ничего в журналах заставляет меня думать об ограничениях памяти ...
Энтони Гиббс

1
Вывод из ulimit -aконсоли пользователя Cassandra может быть удобен.
Энтони Гиббс

Ответы:


1

Я не эксперт по Кассандре , но вы пытались остановить пакетное сжатие nodetool и установить пороговое значение для сжатия (установите 0 для порога сжатия), чтобы система не повторяла его


остановка nodetool - сжатие не помогло. Работа все еще продолжается.
Джигар Шах

@JigarShah Тот же вопрос, что и ОП? Возможно, вам следует задать новый вопрос, чтобы привлечь новый ответ. Как, возможно, мое решение не поможет вам, но помогло OP
yagmoth555
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.