Использование корреляции в качестве метрики расстояния (для иерархической кластеризации)

Я хотел бы иерархически кластеризовать свои данные, но вместо евклидова расстояния я хотел бы использовать корреляцию. Кроме того, поскольку коэффициент корреляции варьируется от -1 до 1, причем оба значения -1 и 1 обозначают «совместное регулирование» в моем исследовании, я отношусь к обоим -1 и 1 как к d = 0. Поэтому мой расчет равен $\ d = 1-|r|$

Я прочитал в отдельном вопросе (относительно кластеризации k-средних), что вы должны преобразовать r в истинное евклидово d, используя теорему косинуса: $d = \sqrt{2(1-r)}$

Каков наиболее точный способ преобразования корреляции в расстояние для иерархической кластеризации?

— Мегатрон
источник

Да, один из возможных - и геометрически верных путей - это последняя формула. Но вы можете игнорировать знак

если он имеет смысл для вас, так что

. В большинстве случаев вы можете сбросить

безопасно, не влияя на результаты кластеризации. Расстояние может рассматриваться как евклидово квадратное . В этой теме обсуждалось, являются ли меры корреляции с преобразованием расстояния метрическими расстояниями.

r

$r$

d^{2} = 2 (1 - | r |)

$d^2=2(1-|r|)$

2

$2$

— ttnphns

Кроме того, вам не нужно всегда преобразовывать

в линейное различие, такое как евклидово расстояние. Не так уж редко люди делают кластеризацию, основанную непосредственно на

или

что

r

$r$

r

$r$

| r |

$|r|$

— касается

Требования к иерархической кластеризации

Иерархическая кластеризация может использоваться с произвольными мерами сходства и различий. (Большинство инструментов ожидают различий, но допускают отрицательные значения - вы сами должны убедиться, что предпочтение будет отдано малым или большим значениям.).

Только методы, основанные на центроидах или дисперсии (такие как метод Уорда), являются особыми и должны использоваться с евклидовым квадратом. (Чтобы понять, почему, пожалуйста, внимательно изучите эти связи.)

Одинарная связь, средняя связь, полная связь не сильно затронуты, она все равно будет минимальным / средним / максимальным из парных различий.

Корреляция как мера расстояния

Если вы предварительно обработаете свои данные ( $n$ наблюдений, $p$ признаков) так, что у каждого объекта есть $\mu=0$ и $\sigma=1$ (что запрещает постоянные объекты!), Тогда корреляция уменьшается до косинуса:

Корр (Икс, Y) знак равно \frac{Cov (Икс, Y)}{σ_{Икс} σ_{Y}} знак равно \frac{Е [(Икс - μ_{Икс}) (Y - μ_{Y})]}{σ_{Икс} σ_{Y}} знак равно Е [Икс Y] знак равно \frac{1}{N} ⟨ Икс, Y ⟩

$\text{Corr} (X,Y) = \frac{\text{Cov}(X, Y)} {\sigma_X \sigma_Y} = \frac{\mathbb{E} \left[ (X - \mu_X) (Y - \mu_Y) \right]} {\sigma_X \sigma_Y} = \mathbb{E} [XY] = \frac1n \left<X, Y\right>$

При тех же условиях квадрат евклидова расстояния также уменьшается до косинуса:

d_{Евклид}^{2} (Икс, Y) знак равно Σ ({Икс}_{я} - Y_{я})^{2} знак равно Σ {Икс}_{я}^{2} + Σ Y_{я}^{2} - 2 Σ {Икс}_{я} Y_{я} знак равно 2 N - 2 ⟨ Икс, Y ⟩ знак равно 2 N [1 - Корр (Икс, Y)]

$d_\text{Euclid}^2(X,Y) = \sum (X_i - Y_i)^2 = \sum X_i^2 + \sum Y_i^2 - 2 \sum X_i Y_i \\ = 2n - 2\left<X, Y\right> = 2n \left[1 - \text{Corr}(X, Y)\right]$

Поэтому, если ваши данные не вырождены, использование корреляции для иерархической кластеризации должно быть в порядке. Просто обработайте его, как описано выше, а затем используйте квадрат Евклидова расстояния.

— Аноним-Мусс-Восстановить Монику
источник

Only ward's method is special, and should be used with squared Euclidean, Не только Уорда. Любой метод, вычисляющий центроиды или отклонения от центроидов, будет нуждаться в евклидовом или квадратном евклидовом (в зависимости от реализации) расстоянии ради геометрической точности. При потере таких и соответствующих предупреждений их можно использовать с другими метрическими расстояниями. Этими методами являются центроид, "медиана", метод Уорда, дисперсия (не путать с методом Уорда!) И некоторые другие.

— ttnphns

Спасибо, я прояснил это. Я не знал об этих вариациях, я думал только об одном / среднем / полном / приходе.

— Anony-Mousse -Восстановить Монику

⟨, ⟩

$\langle, \rangle$

d i m

$dim$