Что говорит обратная ковариационная матрица о данных? (Наглядно)


46

Меня интересует природа Σ1 . Кто-нибудь может сказать что-то интуитивное о том, «Что Σ1 говорит о данных?»

Редактировать:

Спасибо за ответы

Пройдя несколько отличных курсов, я бы хотел добавить несколько моментов:

  1. Это мера информации, т. Е. xTΣ1x это количество информации по направлению x .
  2. Двойственность: Поскольку положительно определен, как и Σ - 1 , то есть они являются точечными нормами, точнее, они являются дуальными нормами друг друга, поэтому мы можем вывести двойственное число по Фенчелю для регуляризованной задачи наименьших квадратов и выполнить максимизацию относительно двойственной проблема. Мы можем выбрать любой из них, в зависимости от их условий.ΣΣ1
  3. Гильбертово пространство: столбцы (и строки) из и Σ охватывают одно и то же пространство. Таким образом, нет никакого преимущества (кроме того, что когда одна из этих матриц плохо обусловлена) между представлением с Σ - 1 или ΣΣ1ΣΣ1Σ
  4. Σ1Σ10
  5. Статистика для частых: она тесно связана с информацией Фишера, используя границу Крамера – Рао. Фактически, информационная матрица Фишера (внешний продукт градиента логарифмического правдоподобия с самим собой) связана с Крамером-Рао, т.е. (относительно положительного полуопределенного конуса, iewrt концентрации эллипсоиды). Поэтому, когда максимальная оценка правдоподобия эффективна, т. Е. В данных существует максимальная информация, поэтому частотный режим является оптимальным. Проще говоря, для некоторых функций правдоподобия (обратите внимание, что функциональная форма правдоподобия зависит исключительно от вероятностной модели, которая предположительно генерирует данные, или генеративной модели), максимальное правдоподобие является эффективной и непротиворечивой оценщиком, правилом, подобным боссу. (извините за это)Σ1FΣ1=F

3
Я думаю, что PCA подбирает собственный вектор с большими собственными значениями, а не с маленькими собственными значениями.
wdg

2
(3) Неправильно, потому что это равносильно утверждению, что столбцы равны столбцам (с точностью до перестановки), что верно только для единичной матрицы. Σ1Σ
whuber

Ответы:


15

Это мера точности так же, как является мерой дисперсии.Σ

Более детально, - это мера того, как переменные распределены вокруг среднего значения (диагональные элементы) и как они изменяются вместе с другими переменными (недиагональными) элементами. Чем больше дисперсия, чем дальше они находятся от среднего значения и чем больше они изменяются (по абсолютной величине) с другими переменными, тем сильнее у них тенденция «двигаться вместе» (в том же или противоположном направлении в зависимости от признак ковариации).Σ

Точно так же является мерой того, насколько плотно кластеризованы переменные вокруг среднего значения (диагональные элементы) и степени, в которой они не изменяются вместе с другими переменными (недиагональными элементами). Таким образом, чем выше диагональный элемент, тем плотнее переменная сгруппирована вокруг среднего значения. Интерпретация недиагональных элементов более тонкая, и я отсылаю вас к другим ответам для этой интерпретации.Σ1


3
Яркий контрпример к вашему последнему утверждению о недиагональных элементах в дает простейший нетривиальный пример в двух измерениях: Большие недиагональные значения соответствуют более экстремальным значениям коэффициента корреляции что противоположно тому, что вы говорите. Σ1Σ1=(11ρ2ρ1ρ2ρ1ρ211ρ2).ρ,
whuber

@ Правильно. Я должен избавиться от «абсолютного» слова в последнем предложении. Спасибо
проп

3
Спасибо, но это все еще не решает проблему: отношения, которые вы утверждаете между недиагональными элементами инверсии и ко-вариацией, не существует.
whuber

@ Whuber Я думаю, что это так. В вашем примере недиагональные элементы отрицательны. Следовательно, при увеличении недиагональные элементы уменьшаются. Вы можете проверить это, отметив следующее: при недиагональный элемент равен ; при приближении к недиагональные элементы приближаются к а производная недиагонального элемента по отрицательна. ρρ=00ρ1ρ
опора

2
Мои недиагональные элементы положительны, когдаρ<0.
whuber

17

Используя верхние индексы для обозначения элементов обратного, - это дисперсия компонента переменной которая не связана с другими переменными , и - это частичная корреляция переменных и , контролирующая другие переменные .1/σiiip1σij/σiiσjjijp2

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.