Является ли каждая корреляционная матрица положительно определенной?

11

Я говорю здесь о матрицах корреляций Пирсона.

Я часто слышал, что все корреляционные матрицы должны быть положительными полуопределенными. Насколько я понимаю, положительно определенные матрицы должны иметь собственные значения , в то время как положительные полуопределенные матрицы должны иметь собственные значения . Это заставляет меня думать, что мой вопрос можно перефразировать как «Возможно ли, чтобы корреляционные матрицы имели собственное значение ?» $> 0$ $\ge 0$ $= 0$

Возможно ли, чтобы корреляционная матрица (сгенерированная из эмпирических данных без отсутствующих данных) имела собственное значение или собственное значение ? Что, если бы это была матрица корреляции населения? $= 0$ $< 0$

Я прочитал вверху ответ на этот вопрос о ковариационных матрицах, которые

Рассмотрим три переменные, , и . Их ковариационная матрица не является положительно определенной, поскольку существует вектор ( ), для которого не является положительным. $X$ $Y$ $Z = X+Y$ $M$ $z$ $= (1, 1, -1)'$ $z'Mz$

Однако, если вместо ковариационной матрицы я выполняю эти вычисления на корреляционной матрице, то получается положительным. Таким образом, я думаю, что, возможно, ситуация отличается для матриц корреляции и ковариации. $z'Mz$

Моя причина для того, чтобы спросить, что меня спросили на stackoverflow , в связи с вопросом, который я задал там.

covariance-matrix eigenvalues correlation-matrix

— user1205901 - Восстановить Монику
источник

Если, например, два атрибута - это одно и то же, имеющие только разные имена, матрица является единственной. Если два атрибута добавляют к константе, это снова единственное число, и так далее .

— ttnphns

Если ковариационная матрица является сингулярной, то корреляционная матрица также является особой.

— ttnphns

2

Почти дубликаты: является ли каждая корреляционная матрица положительной полуопределенной? в котором меньше внимания уделяется определенному или полуопределенному углу, и является ли каждая ковариационная матрица положительно определенной? что важно, потому что ковариация - это, по сути, измененная корреляция.

— Серебряная рыба

16

Матрицы корреляции не должны быть положительно определенными.

Рассмотрим скалярную случайную величину X, имеющую ненулевую дисперсию. Тогда корреляционная матрица X с самим собой является матрицей всех, которая является положительно-полуопределенной, но не положительно определенной.

Что касается выборочной корреляции, рассмотрим выборочные данные для вышеуказанного, имеющие первое наблюдение 1 и 1 и второе наблюдение 2 и 2. Это приводит к тому, что выборочная корреляция является матрицей всех, поэтому не является положительно определенной.

Выборочная корреляционная матрица, если она рассчитана в точной арифметике (т.е. без ошибки округления), не может иметь отрицательных собственных значений.

— Марк Л. Стоун
источник

4

Возможно, стоит упомянуть возможные влияния отсутствующих значений на выборочную матрицу корреляции . Числовая неопределенность - не единственная причина получения отрицательного собственного значения в выборочной матрице корреляции / ковариации.

— Серебряная рыба

1

Да, я не сделал это явно, но я предполагал, согласно утверждению вопроса, "без пропущенных данных". Как только вы попадаете в дикий, дурацкий мир недостающих данных и корректировок для них, все уходит.

— Марк Л. Стоун

Да, извините, вы совершенно правы: вопрос «нет пропущенных данных» - просто подумал, что стоит упомянуть где-нибудь, так как будущие поисковики могут быть заинтересованы, даже если аппетит ОП удовлетворен!

— Серебряная рыба

7

Ответы @yoki и @MarkLStone (+1 к обоим) указывают, что корреляционная матрица населения может иметь нулевые собственные значения, если переменные связаны линейно (например, в примере @MarkLStone и в пример @yoki). $X_1 = X_2$ $X_1 = 2X_2$

В дополнение к этому матрица корреляции выборки обязательно будет иметь нулевые собственные значения, если , т.е. если размер выборки меньше, чем число переменных. В этом случае ковариационные и корреляционные матрицы будут иметь максимум ранг , поэтому будет не менее нулевых собственных значений. См. Почему ковариационная матрица выборки является единственной, если размер выборки меньше числа переменных? и почему ранг ковариационной матрицы не более ? $n<p$ $n-1$ $p-n+1$ $n-1$

— амеба
источник

Истинно Я полагаю, что мог бы и должен был предоставить эту информацию, но моя цель состояла в том, чтобы создать контрпример, чтобы опровергнуть гипотезу ФП, показав тем самым ее недействительность. Тем не менее, вы должны откорректировать второе предложение следующим образом: «В этом случае матрицы ковариации и корреляции будет не более ранга n − 1, поэтому будет не менее (p − n + 1) нулевых собственных значений ».

— Марк Л. Стоун

4

Рассмотрим как rv со средним 0 и дисперсией 1. Пусть , и вычислим ковариационную матрицу . Поскольку , и . Из-за конфигурации с нулевым средним вторые моменты равны подходящим ковариациям, например: . $X$ $Y=2X$ $(X,Y)$ $2X=Y$ $E[Y^2]=4E[X^2]=\sigma_Y^2$ $E[XY]=2E[X^2]$ $\mbox{Cov}(X,Y)=E[XY]-EXEY=E[XY]$

Таким образом, ковариационная матрица будет иметь вид: с нулевым собственным значением. Матрица корреляции будет иметь вид: имея нулевое собственное значение. Из-за линейного соответствия между и легко понять, почему мы получаем эту корреляционную матрицу - диагональ всегда будет 1, а недиагональность - 1 из-за линейной зависимости.

Λ = (\begin{matrix} 1 & 2 \\ 2 & 4 \end{matrix}),

$\Lambda = \left(\array{1 & 2 \\ 2 & 4 }\right),$

Λ = (\begin{matrix} 1 & 1 \\ 1 & 1 \end{matrix}),

$\Lambda = \left(\array{1 & 1 \\ 1 & 1 }\right),$

X

$X$

Y

$Y$

— Yoki
источник

Просто для читателей с математическими проблемами, таких как я, позвольте мне указать, что 2в есть это последнее равенство, следующее из: .

Λ

$\Lambda$

c o v (X, Y) = E (X Y) - E (X) E (Y) = 2 E [X^{2}] = 2 (σ_{X}^{2} + [E (X)]^{2})

$cov(X,Y)= \mathbb{E}(XY)-\mathbb{E}(X)\mathbb{E}(Y)= 2\mathbb{E}[X^2]=2\left(\sigma_X^2+[E(X)]^2\right)$

E (X^{2}) = Var (X) + [E (X)]^{2}

$E(X^2)=\text{Var}(X)+[E(X)]^2$

— Антони Пареллада

d i a g Λ^{- 1 / 2} Λ d i a g Λ^{1 / 2}

$diag \Lambda^{-1/2}\,\Lambda\, diag \Lambda^{1/2}$

@AntoniParellada, я не совсем уверен, что вы имеете в виду - ковариация здесь - это прямой расчет. Но я отредактирую и проясню это. Спасибо.

— Йоки