Скорректированный индекс ранда против скорректированной взаимной информации

Я пытаюсь оценить производительность кластеризации. Я читал документацию skiscit-learn по метрикам . Я не понимаю разницы между ARI и AMI. Мне кажется, что они делают одно и то же двумя разными способами.

Ссылаясь на документацию:

Учитывая знание базовых назначений класса истинности label_true и наших алгоритмов кластеризации для одних и тех же выборок label_pred, скорректированный индекс Rand является функцией, которая измеряет сходство двух назначений, игнорируя перестановки и с возможностью нормализации.

против

Учитывая знание базовых назначений класса истинности label_true и наших алгоритмов кластеризации для одних и тех же выборок label_pred, Взаимная информация - это функция, которая измеряет согласование двух назначений, игнорируя перестановки ... AMI был предложен недавно и нормализован по отношению к шанс.

Должен ли я использовать их оба в моей оценке кластеризации или это будет избыточным?

clustering python scikit-learn

— al27091
источник

Мистер Рэнд не случайно.

— ВЫЙТИ - Anony-Mousse

Ответы:

Это два из дюжины, которые все пытаются сравнить кластеры.

Но они не эквивалентны. Они используют разные теории.

Иногда ARI может предпочесть один результат, а AMI - другой. Но часто они соглашаются в предпочтении (не в цифрах).

— ВЫЙТИ - Anony-Mousse
источник

Что вы имеете в виду: «они согласны в предпочтении (не в цифрах)?»

— al27091,

При сравнении нескольких результатов.

— ВЫЙТИ - Anony-Mousse

Эмпирическое правило:

Используйте ARI, когда у кластера истинной правды есть большие кластеры одинакового размера
США AMI, когда наземная кластеризация правды не сбалансирована и существуют небольшие кластеры

Я работал над этой темой. Ссылка: поправка на меры сравнения вероятности кластеризации

— Симона
источник

Я применил HDBSCAN и KMeans к некоторым из моих наборов данных с правильным количеством кластеров для KMeans и правильным минимальным размером кластера для HDBSCAN. Моя проблема в том, что прогрессирование ОИМ не коррелирует с прогрессированием ОРИ. Я получаю среднее значение 0,3 и 0,35 в ОИМ, что является низким. Я получаю результаты ОРИ близкие к 0: 0,07 и 0,01 соответственно. Даже в тех случаях, когда я получал лучший AMI с HDBSCAN, мои показатели ARI были очень близки к 0, т.е. HDBSCAN дает более низкий ARI, чем KMeans, даже в тех случаях, когда AMI выше.

— Рюзакиньо

Какому типу результатов кластеризации соответствуют 0,3 и 0,35 для ОИМ?

— Симона

pastebin.com/raw/WHvTxbLm Это один из случаев, которые я не понимаю: лучший AMI не означает лучший ARI и наоборот. Есть ли причина, по которой я бы доверял относительному улучшению того или другого. Я не уверен, на какую метрику обратить внимание, чтобы улучшить мои результаты (из статьи, которую вы связали, я чувствую, что это должен быть AMI, учитывая мое распределение классов, но я все еще в замешательстве).

— Рюзакиньо

В вашем случае результат HDBSCAN показывает очень большой кластер и множество мелких, что по определению является несбалансированным решением. Следовательно, AMI больше с DBSCAN. Ваша основная правда более сбалансирована, чем это решение. Поэтому я бы использовал ARI, чтобы выбрать решение здесь. При этом кажется, что полученные вами кластерные решения не так хороши. Может быть, это потому, что у вас много кластеров. Не могли бы вы уменьшить количество кластеров, которые вы хотите? Или у вас есть функции, которые следует принимать во внимание, а не использовать кластеризацию, основанную исключительно на расстоянии?

— Симона

После более качественного тестирования выясняется, что AMI оказался более надежным для моего варианта использования. Действительно, AMI сказала, что HDBSCAN был лучше, и я нашел это действительно лучше. Хотя у меня был один большой шумовой кластер, другие кластеры были чище, чем кластеры KMEANS.

— Рюзакиньо