Как интерпретировать обратную ковариацию или прецизионную матрицу?

65

Мне было интересно, может ли кто-нибудь указать мне некоторые ссылки, которые обсуждают интерпретацию элементов обратной ковариационной матрицы, также известной как матрица концентрации или прецизионная матрица.

У меня есть доступ к многовариантным зависимостям Кокса и Вермута , но мне нужна интерпретация каждого элемента в обратной матрице. Википедия утверждает : «Элементы матрицы точности имеют интерпретацию с точки зрения частичных корреляций и частичных дисперсий», что приводит меня к этой странице. Есть ли интерпретация без использования линейной регрессии? IE, с точки зрения ковариаций или геометрии?

interpretation covariance-matrix

— Винь Нгуен
источник

4

Вы прочитали всю страницу Википедии? Для нормального распределения есть раздел, посвященный геометрии и условной независимости. Вы можете найти больше в этой книге .

— NRH

@NRH Геометрия объясняется на странице частичной корреляции, которую я даже не уверен, как она относится к матрице концентрации. Есть ли в этой книге графических моделей объяснение элементов матрицы концентрации? Спасибо!

— Вин Нгуен

смотрите ответ ниже.

— NRH

2

См. Также Почему инверсия ковариационной матрицы дает частичные корреляции между случайными величинами?

— говорит амеба: восстанови монику

34

Есть в основном две вещи, которые нужно сказать. Во-первых, если вы посмотрите на плотность для многомерного нормального распределения (со средним значением 0 здесь), оно пропорционально где является обратной к ковариационной матрице, также называемой точностью. Эта матрица положительно определена и определяет с помощью в скалярное произведение на . Результирующая геометрия, которая придает особое значение понятию ортогональности и определяет норму, относящуюся к нормальному распределению, важна, и для понимания, например, геометрического содержания LDA, вам нужно посмотреть на вещи в свете данной геометрии по

\exp (- \frac{1}{2} x^{T} P x)

$\exp\left(-\frac{1}{2}x^T P x\right)$

P = Σ^{- 1}

$P = \Sigma^{-1}$

(x, y) \mapsto x^{T} P y

$(x,y) \mapsto x^T P y$

R^{p}

$\mathbb{R}^p$

P

$P$ .

Еще одна вещь, которую нужно сказать, это то, что частичные корреляции могут быть считаны непосредственно из , см. Здесь . На той же странице Википедии дается, что частичные корреляции и, следовательно, записи имеют геометрическую интерпретацию в терминах косинуса к углу. Что, возможно, более важно в контексте частичных корреляций, так это то, что частичная корреляция между и равна 0 тогда и только тогда, когда запись в равна нулю. Для нормального распределения переменных и затем условно независимы $P$ $P$ $X_i$ $X_j$ $i,j$ $P$ $X_i$ $X_j$ учитывая все остальные переменные. Это то, чем посвящена книга Штеффенса, о которой я упоминал в комментарии выше. Условная независимость и графические модели. Он имеет довольно полную трактовку нормального распределения, но может быть не так легко следовать.

— NRH
источник

1

Извините, я немного запутался в отношении формулы Википедии для частичной корреляции; Я видел несколько реализаций, принимающих (со знаком минус). Вы уверены, что формула Википедии верна?

- \frac{p_{i j}}{\sqrt{p_{i i} p_{j j}}}

${\bf\color{red} -} \frac{p_{ij}}{ \sqrt{p_{ii} p_{jj}}}$

— Sheljohn

1

@ Sh3ljohn, ты совершенно прав. В формуле Википедии отсутствует минус.

— NRH

Разве первый ответ не говорит больше об информации Фишера, чем о точной матрице? Я имею в виду, что они совпадают в действительно особом / хорошем гауссовском случае, но в целом они не совпадают. Очевидно, что эти два понятия взаимосвязаны (нижняя граница Крамера-Рао, асимптотическое распределение MLE и т. Д.), Но не представляется целесообразным объединять их (в частности, я пришел к этому вопросу в поисках его вопроса о том, как отличить информацию Фишера от матрица обратной корреляции).

— Chill2Macht

24

Мне нравится эта вероятностная графическая модель, чтобы проиллюстрировать точку зрения NRH о том, что частичная корреляция равна нулю тогда и только тогда, когда X условно не зависит от Y с учетом Z, при условии, что все задействованные переменные являются многомерными гауссовскими (свойство не выполняется в общем случае) :

введите описание изображения здесь

( - случайные гауссовы переменные; игнорировать T и k) $y_i$

Источник: доклад Дэвида Маккея об основах гауссовского процесса , 25-я минута.

— Франк Дернонкур
источник

12

Интерпретация, основанная на частичных корреляциях, является, вероятно, наиболее статистически полезной, поскольку она применяется ко всем многомерным распределениям. В частном случае многомерного нормального распределения нулевая частичная корреляция соответствует условной независимости.

Вы можете получить эту интерпретацию, используя дополнение Шура, чтобы получить формулу для элементов матрицы концентрации в терминах элементов матрицы ковариации. См. Http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

— vqv
источник

11

Ковариационная матрица может представлять отношение между всеми переменными, в то время как обратная ковариантность отражает отношение элемента с их соседями (как в википедии сказано частичное / парное отношение).

Я заимствую следующий пример отсюда в 24:10, представьте, что 5 масс соединены вместе и гласная вокруг с 6 пружинами, ковариационная матрица будет содержать корреляцию всех масс, если одна пойдет правильно, другие тоже могут пойти правильно. но обратная ковариационная матрица определяет отношение тех масс, которые связаны одной и той же пружиной (соседями), и содержит много нулей и не является обязательным положительным.

— user4581
источник

1

Где это объясняется в видео? Это час. Спасибо!

— Вин Нгуен

Вы правы, это 24:10, я думаю, что это лучший пример, чтобы понять природу матрицы cov и ее обратной

— user4581

5

Бар-Шалом и Фортманн (1988) упоминают обратную ковариацию в контексте фильтрации Калмана следующим образом:

... [T] здесь рекурсия для обратной ковариации (или информационной матрицы )

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

... Действительно, полный набор уравнений прогнозирования и обновления, известный как информационный фильтр [8, 29, 142], может быть разработан для обратной ковариации и вектора преобразованного состояния . $\mathbf{P}^{-1}\hat{\mathbf{x}}$

Книга проиндексирована в Google .

— яркая звезда
источник