Достаточные и необходимые условия для нулевого собственного значения корреляционной матрицы

11

Для заданной случайной величины с распределением вероятности корреляционная матрица является положительной полуопределенной, т.е. ее собственные значения положительны или ноль. $n$ $X_i$ $P(X_1,\ldots,X_n)$ $C_{ij}=E[X_i X_j]-E[X_i]E[X_j]$

Меня интересуют условия на , которые необходимы и / или достаточны для того, чтобы имело нулевых собственных значений. Например, достаточным условием является то, что случайные величины не являются независимыми: для некоторых действительных чисел . Например, если , то равно собственный вектор с нулевым собственным значением. Если у нас есть независимых линейных ограничений на этого типа, это будет означать нулевых собственных значений. $P$ $C$ $m$ $\sum_i u_i X_i=0$ $u_i$ $P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)$ $\vec u=(1,-1,0,\ldots,0)$ $C$ $m$ $X_i$ $m$

Существует по крайней мере одна дополнительная (но тривиальная) возможность, когда для некоторого (то есть )), поскольку в этом case имеет столбец и строку нулей: . Поскольку это не очень интересно, я предполагаю, что распределение вероятностей не имеет такой формы. $X_a=E[X_a]$ $a$ $P(X_1,\ldots,X_n)\propto\delta(X_a-E[X_a])$ $C_{ij}$ $C_{ia}=C_{ai}=0,\,\forall i$

Мой вопрос: являются ли линейные ограничения единственным способом вызвать нулевые собственные значения (если мы запрещаем приведенное выше тривиальное исключение), или могут ли нелинейные ограничения на случайные переменные также генерировать нулевые собственные значения ? $C$

correlation

— Адам
источник

1

По определению, коллекция векторов, включающая нулевой вектор, является линейно зависимой, поэтому ваша дополнительная возможность не является чем-то новым или отличным. Не могли бы вы объяснить , что вы имеете в виду « имеющие собственных»? Это похоже на какую-то опечатку.

m

$m$

— whuber

@ Whuber: да, опечатка. Исправлено. Я думаю, что эти два условия различны: одно касается отношения между переменными, а другое - о вероятности единственной переменной (а именно, ).

p (X_{a}) = δ (X_{a} - E (X_{a}))

$p(X_a)=\delta(X_a-E(X_a))$

— Адам

Формулировка вашего вопроса сбивает с толку. Это похоже на элементарную теорему линейной алгебры, но ссылки на «независимые» случайные величины предполагают, что это может быть что-то совсем другое. Правильно ли понимать, что каждый раз, когда вы используете «независимый», вы имеете в виду линейную независимость, а не смысл (статистически) независимых случайных величин? Ваша ссылка на «отсутствующие данные» еще больше сбивает с толку, поскольку предполагает, что ваши «случайные переменные» могут действительно означать только столбцы матрицы данных. Было бы хорошо, чтобы эти значения прояснились.

— whuber

@whuber: я редактировал вопрос. Надеюсь, это понятнее.

— Адам

Условие независимости не обязательно должно быть нулем (подойдет любая константа), если только среднее значение каждого равно нулю.

\sum_{i} u_{i} X_{i} = 0

$\sum_i u_i X_i=0$

X_{i}

$X_i$

— Секст Эмпирик

6

Возможно, упрощая обозначения, мы сможем выявить основные идеи. Оказывается, нам не нужно включать ожидания или сложные формулы, потому что все чисто алгебраически.

Алгебраическая природа математических объектов

Вопрос касается отношений между (1) ковариационной матрицей конечного набора случайных величин и (2) линейными отношениями между этими переменными, рассматриваемыми каквекторы. $X_1, \ldots, X_n$

Векторное пространство , о котором идет речь множество всех конечно-дисперсия случайных величин (в любом вероятностном пространстве $(\Omega,\mathbb P)$ ) по модулю подпространства почти наверняка постоянных переменных, обозначит $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R.$ (То есть мы рассматриваем две случайные величины $X$ и $Y$ одним и тем же вектором, когда существует нулевая вероятность того, что отличается от ожидаемого.) Мы имеем дело только с конечномерным векторным пространством порожденным $X-Y$ $V$ $X_i,$ что делает эту проблему алгебраической, а не аналитической.

Что нам нужно знать о дисперсиях

больше, чем просто векторное пространство: этоквадратичный модуль,потому что он снабжен дисперсией. Все, что нам нужно знать о дисперсиях, это две вещи: $V$

Дисперсия является скалярной функцией со свойством для всех векторов $Q$ $Q(aX)=a^2Q(X)$ $X.$
Дисперсия невырожденная.

Второе требует некоторого объяснения. определяет «точечное произведение», которое представляет собой симметричную билинейную форму, заданную $Q$

X \cdot Y = \frac{1}{4} (Q (X + Y) - Q (X - Y)) .

$X\cdot Y = \frac{1}{4}\left(Q(X+Y) - Q(X-Y)\right).$

(Это, конечно , ничего, кроме ковариации переменных и ) Векторы и являются ортогональными , если их скалярное произведение равно ортогональное дополнение любого множества векторов состоит из всех векторов , ортогональных к каждому элементу из написано $X$ $Y.$ $X$ $Y$ $0.$ $\mathcal A \subset V$ $\mathcal A,$

A^{0} = {v \in V ∣ a . v = 0 for all v \in V} .

$\mathcal{A}^0 = \{v\in V\mid a . v = 0\text{ for all }v \in V\}.$

Это явно векторное пространство. Если , является невырожденной. $V^0 = \{0\}$ $Q$

Позвольте мне доказать, что дисперсия действительно невырождена, хотя может показаться очевидной. Предположим, что ненулевой элемент из Это означает, что для всех что то же самое, $X$ $V^0.$ $X\cdot Y = 0$ $Y\in V;$

Q (X + Y) = Q (X - Y)

$Q(X+Y) = Q(X-Y)$

для всех векторов Взятие дает $Y.$ $Y=X$

4 Q (X) = Q (2 X) = Q (X + X) = Q (X - X) = Q (0) = 0

$4 Q(X) = Q(2X) = Q(X+X) = Q(X-X) = Q(0) = 0$

и, таким образом, Однако мы знаем (возможно, используя неравенство Чебышева), что единственные случайные переменные с нулевой дисперсией почти наверняка постоянны, что отождествляет их с нулевым вектором в QED. $Q(X)=0.$ $V,$

Интерпретация вопросов

Возвращаясь к вопросам, в предыдущих обозначениях ковариационная матрица случайных величин является просто регулярным массивом всех их точечных произведений,

T = (X_{i} \cdot X_{j}) .

$T = (X_i\cdot X_j).$

Есть хороший способ думать о : он определяет линейное преобразование на обычным способом, посылая любой вектор в вектор , компонент которого определяется правилом умножения матриц $T$ $\mathbb{R}^n$ $x=(x_1, \ldots, x_n)\in\mathbb{R}^n$ $T(x)=y=(y_1, \ldots, x_n)$ $i^\text{th}$

y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} .

$y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j.$

Ядро этого линейного преобразования является подпространством он посылает к нулю:

Ker (T) = {x \in R^{n} ∣ T (x) = 0} .

$\operatorname{Ker}(T) = \{x\in \mathbb{R}^n\mid T(x)=0\}.$

Из вышеприведенного уравнения следует, что когда для каждого $x\in \operatorname{Ker}(T),$ $i$

0 = y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} = X_{i} \cdot (\sum_{j} x_{j} X_{j}) .

$0 = y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j = X_i \cdot \left(\sum_j x_j X_j\right).$

Поскольку это верно для каждого оно справедливо для всех векторов, охватываемых а именно для самого Следовательно, когда вектор, заданный лежит в Поскольку дисперсия невырожденная, это означает То есть, $i,$ $X_i$ $V$ $x\in\operatorname{Ker}(T),$ $\sum_j x_j X_j$ $V^0.$ $\sum_j x_j X_j = 0.$ описывает линейную зависимость между исходных случайных величин. $x$ $n$

Вы можете легко проверить, что эта цепочка рассуждений обратима:

Линейные зависимости между как векторами $X_j$ находятся во взаимно однозначное соответствие с элементами ядра $T.$

(Помните, что это утверждение все еще рассматривает как определенное с точностью до постоянного сдвига в местоположении, то есть как элементы а не просто как случайные переменные.) $X_j$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R$

Наконец, по определению, собственное значение из является любым скалярным , для которых существует ненулевой вектор с При является собственным значением, пространство собственных векторов , ассоциированных (очевидно) ядро $T$ $\lambda$ $x$ $T(x) = \lambda x.$ $\lambda=0$ $T.$

Резюме

Мы пришли к ответу на вопросы: множество линейных зависимостей случайных величин, равных элементам однозначно соответствует ядру их ковариационной матрицы $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R,$ Это так, потому что дисперсия является невырожденной квадратичной формой. Ядро также является собственным пространством, связанным с нулевым собственным значением (или просто нулевым подпространством, когда нет нулевого собственного значения). $T.$

Ссылка

Я в основном принял обозначения и некоторые формулировки главы IV в

Жан-Пьер Серр, Курс арифметики. Springer-Verlag 1973.

— Whuber
источник

Вау, это здорово! Просто вопрос, чтобы убедиться, что я все понимаю: когда вы пишете «

как векторы», вы не имеете в виду сбор случайных величин в векторе (то есть

), или вы ? Если я прав, я предполагаю, что вы собираете возможные значения случайной величины

в вектор, а распределение вероятностей скрыто в определении дисперсии, верно?

X_{j}

$X_j$

\vec{X} = (X_{1}, \dots, X_{n})

$\vec X=(X_1,\ldots,X_n)$

X_{i}

$X_i$

— Адам

Я думаю, что основным аспектом, который не совсем ясен, является следующее (что может просто показать мое отсутствие формального знания теории вероятностей): вы, кажется, показываете, что если существует собственное значение 0, то мы имеем, например,

. Это ограничение не относится к распределению вероятности

, которое скрыто в

(я думаю, что это умный момент в этой демонстрации). Но что это значит иметь

без ссылки на

? Или это просто означает, что

X_{1} = X_{2}

$X_1=X_2$

P

$P$

Q

$Q$

X_{1} = X_{2}

$X_1=X_2$

P

$P$

P \propto δ (X_{1} - X_{2})

$P\propto \delta(X_1-X_2)$ , но тогда откуда мы знаем, что это должна быть линейная комбинация и в дельта-функции $X_1$ $X_2$ ?

— Адам

Боюсь, я не понимаю, как вы используете «дельта-функцию» в этом контексте, Адам. Это отчасти потому, что я не вижу в этом необходимости, а отчасти потому, что обозначения неоднозначны: например, дельта Кронекера или дельта Дирака?

— whuber

Это будет Кронекер или Дирак в зависимости от переменных (дискретных или непрерывных). Эти дельты могут быть частью меры интегрирования, например, я интегрирую по 2 на 2 матрицы

(таким образом, четыре действительные переменные

,

и

, с некоторым весом (скажем,

), или я проинтегрировать подгруппу. Если это симметричные матрицы (подразумевая, например ,

M

$M$

X_{1}

$X_1$

X_{2}

$X_2$

X_{3}

$X_3$

X_{4}

$X_4$

P = \exp (- t r (M . M^{T}))

$P=\exp(-tr(M.M^T))$

X_{2} = X_{3}

$X_2=X_3$ ), Я могу формально навязать это, умножив

на

. Это было бы линейным ограничением. Пример нелинейного ограничения приведен в комментариях под ответом Мартина Ветеринга.

P

$P$

δ (X_{1} - X_{2})

$\delta(X_1-X_2)$

— Адам

(продолжение) Вопрос в том, что может из нелинейных ограничений, которые я могу добавить к своим переменным, может вызвать 0 собственных значений. Судя по вашим ответам, это выглядит так: только нелинейное ограничение, подразумевающее линейное ограничение (как показано в комментариях под ответом Мартина Ветеринга). Может быть, проблема в том, что мой взгляд на проблему с точки зрения физика, и я изо всех сил пытаюсь объяснить это на другом языке (я думаю, что это правильное место, чтобы задать этот вопрос, а не физика. SE).

— Адам

5

Линейная независимость не только достаточна, но и является необходимым условием

Чтобы показать, что матрица дисперсии-ковариации имеет собственные значения, равные нулю, тогда и только тогда, когда переменные не являются линейно независимыми, остается только показать, что «если матрица имеет собственные значения, равные нулю, то переменные не являются линейно независимыми».

Если у вас есть нулевое собственное значение для то существует некоторая линейная комбинация (определенная собственным вектором ) $C_{ij} = \text{Cov}(X_i,X_j)$ $v$

Y = \sum_{i = 1}^{n} v_{i} (X_{i})

$Y = \sum_{i=1}^n v_i (X_i)$

такой, что

\begin{array}{rcl} Cov (Y, Y) & = & \sum_{i = 1}^{n} \sum_{j = 1}^{n} v_{i} v_{j} Cov (X_{i}, X_{j}) \\ = & \sum_{i = 1}^{n} v_{i} \sum_{j = 1}^{n} v_{j} C_{i j} \\ = & \sum_{i = 1}^{n} v_{i} \cdot 0 \\ = & 0 \end{array}

$\begin{array}{rcl} \text{Cov}(Y,Y) &=& \sum_{i=1}^n \sum_{j=1}^n v_i v_j \text{Cov}(X_i,X_j) \\ &=&\sum_{i=1}^n v_i\sum_{j=1}^n v_j C_{ij} \\ &= &\sum_{i=1}^n v_i \cdot 0 \\ &=& 0 \end{array}$

это означает, что должен быть константой и, следовательно, переменные есть $Y$ $X_i$ складываться в константу и либо сами являются константами (тривиальный случай), либо не являются линейно независимыми.

^{- первая строка в уравнении с обусловлена свойством ковариации $\text{Cov}(Y,Y)$}

Cov (a U + b V, c W + d X) = a c Cov (U, W) + b c Cov (V, W) + a d Cov (U, X) + b d Cov (V, X)

$\scriptsize\text{Cov}(aU+bV,cW+dX) = ac\,\text{Cov}(U,W) + bc\,\text{Cov}(V,W) +ad\, \text{Cov}(U,X) + bd \,\text{Cov}(V,X)$

^{- шаг от второй до третьей строки обусловлен свойством нулевого собственного значения}

\sum_{j = 1}^{n} v_{j} C_{i j} = 0

$\scriptsize \sum_{j=1}^nv_jC_{ij} = 0$

Нелинейные ограничения

Итак, поскольку линейные ограничения являются необходимыми условием (а не только достаточным), нелинейные ограничения будут актуальны только тогда, когда они косвенно подразумевают (необходимое) линейное ограничение.

Фактически существует прямое соответствие между собственными векторами, связанными с нулевым собственным значением, и линейными ограничениями.

C \cdot v = 0 ⟺ Y = \sum_{i = 1}^{n} v_{i} X_{i} = const

$C \cdot v = 0 \iff Y = \sum_{i=1}^n v_i X_i = \text{const}$

Таким образом, нелинейные ограничения, приводящие к нулевому собственному значению, должны в совокупности генерировать некоторое линейное ограничение.

Как нелинейные ограничения могут привести к линейным ограничениям

Ваш пример в комментариях может интуитивно показать, как нелинейные ограничения могут привести к линейным ограничениям путем обращения к производной. Следующие нелинейные ограничения

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a c + b d & = & 0 \\ a d - b c & = & 1 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ ac + bd &=& 0 \\ ad - bc &=& 1 \end{array}$

может быть уменьшен до

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a - d & = & 0 \\ b + c & = & 0 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ a-d&=&0 \\ b+c &=& 0 \end{array}$

Вы можете изменить это. Скажем, у вас есть нелинейные плюс линейные ограничения, тогда не странно представить, как мы можем заменить одно из линейных ограничений нелинейным, заполнив линейные ограничения нелинейными ограничениями. Например, когда мы подставляем и в нелинейную форму тогда вы можете установить другое соотношение . И когда вы умножаете и $a=d$ $b=-c$ $a^2+b^2=1$ $ad-bc=1$ $a=d$ $c=-b$ то вы получите . $ac=-bd$

— Секст Эмпирик
источник

Я предполагаю, что это (и ответ whuber) является косвенным ответом на мой вопрос (который был: «является ли линейная зависимость единственным способом получить нулевое собственное значение») следующим образом: даже если зависимость между случайными переменными не является линейный, он всегда может быть переписан как линейная зависимость, просто написав

. Хотя я действительно искал способ охарактеризовать сами возможные нелинейные ограничения, я думаю, что это, тем не менее, полезный результат.

Y = \sum_{i} ν_{i} X_{i}

$Y=\sum_i \nu_i X_i$

— Адам

Да, я знаю ... что я говорю, что если есть нелинейная зависимость и существует нулевое собственное значение, то, по вашему ответу, это означает, что нелинейная зависимость может быть "учтена" каким-то образом в линейную зависимость. Это более слабая версия того, что я искал, но все же кое-что.

— Адам

Вы приводите пример, который не работает, но это не значит, что этого не может быть ...

— Адам,

Вот контрпример к тому, что вы говорите (если вы думаете, что это не так, то это может помочь нам найти, что не так с моей формулировкой задачи :)): Возьмите случайную матрицу

2 на 2 с нелинейное ограничение

и

. Эти 3 нелинейных ограничения могут быть переписаны в терминах 2 линейных ограничений и одного линейного: это означает, что ковариационная матрица имеет два собственных вектора. Снимите ограничение

, и они исчезнут.

M

$M$

M . M^{T} = 1

$M.M^T=1$

det M = 1

$\det M=1$

det M = 1

$\det M=1$

— Адам

,

и

. Ограничения:

,

M_{11} = X_{1}

$M_{11}=X_1$

M_{12} = X_{2}

$M_{12}=X_2$

M_{21} = X_{3}

$M_{21}=X_3$

M_{22} = X_{4}

$M_{22}=X_4$

X_{1}^{2} + X_{2}^{2} = 1

$X_1^2+X_2^2=1$

X_{3}^{2} + X_{4}^{2} = 1

$X_3^2+X_4^2=1$

X_{1} X_{3} + X_{2} X_{4} = 0

$X_1 X_3+X_2 X_4=0$ (только два являются независимыми). Они не подразумевают нулевого собственного значения. Однако добавление

подразумевает два собственных вектора с 0 собственными значениями.

X_{1} X_{4} - X_{2} X_{3} = 1

$X_1 X_4-X_2 X_3=1$

— Адам

2

Предположим, что имеет собственный вектор с соответствующим собственным значением , тогда . Таким образом, по неравенству Чебышева почти наверняка постоянна и равна . То есть каждому нулевому собственному значению соответствует линейное ограничение, а именно: $C$ $v$ $0$ $\operatorname{var}(v^T X) = v^T Cv = 0$ $v^TX$ $v^T E [X]$ $v^T X = v^T E[X]$ , Нет необходимости рассматривать какие-либо особые случаи.

Таким образом, мы заключаем:

«Являются ли линейные ограничения единственным способом вызвать нулевые собственные значения [?]»

Да.

«Могут ли нелинейные ограничения на случайные величины также генерировать нулевые собственные значения C?»

Да, если они подразумевают линейные ограничения.

— ekvall
источник

Согласен. Я надеялся, что можно было бы более конкретно определить тип нелинейных ограничений, но я думаю, что трудно добиться большего успеха, если мы не укажем ограничения.

— Адам

2

$C$ $X$ $C=Q\Lambda Q^T$ $\Lambda.$ $\Lambda=Q^TCQ$ $Q^TX$ $X$

— Hasse1987
источник

Q^{T} C Q = cov (Q^{T} X)

$Q^TCQ = \text{cov}(Q^TX)$