Меры сходства или расстояния между двумя ковариационными матрицами

28

Существуют ли меры сходства или расстояния между двумя симметричными ковариационными матрицами (обе имеют одинаковые размеры)?

Я имею в виду аналоги KL-расходимости двух вероятностных распределений или евклидова расстояния между векторами, за исключением примененных к матрицам. Я предполагаю, что было бы довольно много измерений подобия.

В идеале я также хотел бы проверить нулевую гипотезу о том, что две ковариационные матрицы идентичны.

— Рам Ахлувалия
источник

3

ответы на этот вопрос: quant.stackexchange.com/q/121/108 могут быть полезны .

— Шаббычеф

2

отличный вопрос и ответ по ссылке - спасибо - да, это то, куда я направлялся :)

— Рам Ахлувалия

2

Связанный вопрос: Диагностический участок для оценки однородности дисперсионно-ковариационных матриц . Документ по теме: Простая процедура сравнения ковариационных матриц .

— говорит амеба: восстанови Монику

21

Вы можете использовать любую из норм (см. Википедию по различным нормам; обратите внимание, что квадратный корень из суммы квадратов расстояний, , называется нормой Фробениуса и отличается от нормы , которая является корнем квадратным из наибольшего собственного значения , хотя, конечно, они будут генерировать ту же топологию). Расстояние KL между двумя нормальными распределениями с одинаковыми средними (скажем, нулем) и двумя конкретными ковариационными матрицами также доступно в Википедии как . $\| A-B \|_p$ $\sqrt{\sum_{i,j} (a_{ij}-b_{ij})^2}$ $L_2$ $(A-B)^2$ $\frac12 [ \mbox{tr} (A^{-1}B) - \mbox{ln}( |B|/|A| ) ]$

Редактировать: если одна из матриц является подразумеваемой матрицей, а другая - образцом ковариационной матрицы, то, конечно, вы можете сформировать критерий отношения правдоподобия между ними. Моя личная любимая коллекция таких тестов для простых структур дана в Rencher (2002) Methods of Multitivariate Analysis . Более сложные случаи рассматриваются в моделировании ковариационных структур, на котором разумной отправной точкой является Боллен (1989) Структурные уравнения со скрытыми переменными .

— Stask
источник

у меня есть проблема с : он не дает одинаковое значение, если вы переставляете и (реальное расстояние должно быть симметричным).

1 / 2 (tr (A^{- 1} B) - \log (| B | / | A |))

$1/2(\verb+tr+(A^{-1}B)-\log(|B|/|A|))$

A

$A$

B

$B$

— user603

у меня есть проблема с : это не аффинно-эквивариантно (если вы вращаете матрицы, там изменения расстояния!). Кроме того, вы должны как-то масштабировать свои матрицы (они могут быть измерены в очень разных единицах), также, естественно, требовать, чтобы расстояние между двумя ковариационными матрицами было таким же, как расстояние между соответствующими матрицами корреляции: поэтому я предлагаю .

(A - B)^{2}

$(A-B)^2$

(A det (A)^{- 1 / p} - B det (B)^{- 1 / p})^{2}

$(A\det(A)^{-1/p}-B\det(B)^{-1/p})^2$

— user603

2

Во-первых, KL не является реальным расстоянием, и это хорошо известный факт. Во-вторых, если матрицы измеряются в разных единицах, они не могут быть равны.

— StasK

Является ли расстояние KL похожим на отношение правдоподобия, или они связаны?

— hashmuke

7

Обозначим и ваши матрицы обеих размерностей . $\varSigma_1$ $\varSigma_2$ $p$

Cond number: где ( ) - это наибольшее (наименьшее) собственное значение , где определяется как: $\log(\lambda_1)-\log(\lambda_p)$ $\lambda_1$ $\lambda_p$ $\varSigma^*$ $\varSigma^*$ $\varSigma^*:=\varSigma_1^{-1/2}\varSigma_2\varSigma_1^{-1/2}$

Изменить: я отредактировал второе из двух предложений. Я думаю, что неправильно понял вопрос. Предложение, основанное на номерах условий, часто используется в надежной статистике для оценки качества соответствия. Старый источник, который я мог найти для этого:

Yohai, VJ and Maronna, RA (1990). Максимальный уклон робастных ковариаций. Сообщения в статистике - теория и методика, 19, 3925–2933.

Первоначально я включил показатель отношения Det:

Коэффициент : где . $\log(\det(\varSigma^{**})/\sqrt{\det(\varSigma_2)*\det(\varSigma_1)})$ $\varSigma^{**}=(\varSigma_1+\varSigma_2)/2$

это будет расстояние Бхаттачарьи между двумя гауссовыми распределениями, имеющими один и тот же вектор местоположения. Я, должно быть, первоначально прочитал вопрос как относящийся к обстановке, где две ковариации исходили из выборок из популяций, предположительно имеющих одинаковые средние значения.

— user603
источник

7

Мера, введенная Хердином (2005), «Расстояние корреляционной матрицы, значимая мера для оценки нестационарных каналов MIMO» : где нормой является норма Фробениуса.

d = 1 - \frac{tr (R_{1} \cdot R_{2})}{‖ R_{1} ‖ \cdot ‖ R_{2} ‖},

$d = 1 - \frac{\text{tr}(R_1 \cdot R_2)}{\|R_1\| \cdot \|R_2\|},$

— davidc
источник

+1. Большое спасибо за этот ответ, это было очень полезно для меня.

— говорит амеба: восстанови Монику

1

Это один минус косинус сходство, верно?

— Firebug

4

Расстояние ковариационной матрицы используется для отслеживания объектов в Computer Vision.

Используемая в настоящее время метрика описана в статье: «Метрика для ковариационных матриц» , автор Förstner и Moonen.

— Андрес Ромеро
источник