Являются ли сумма и произведение двух ковариационных матриц ковариационной матрицей?

Предположим , у меня есть ковариационной матрицы и . Какие из этих вариантов также являются ковариационными матрицами? $X$ $Y$

$X+Y$
$X^2$
$XY$

У меня возникли проблемы с пониманием того, что именно нужно для того, чтобы что-то было матрицей ковариации. Я предполагаю, что это означает, что, например, если и что для того, чтобы 1 , мы должны иметь это , где и - некоторые другие случайные величины. Однако я не понимаю, почему это будет справедливо для любого из трех вариантов. Любое понимание будет оценено. $X=\operatorname{cov}(X_1,X_2)$ $Y=\operatorname{cov}(Y_1,Y_2)$ $\operatorname{cov}(X_1,X_2) + \operatorname{cov}(Y_1,Y_2) = \operatorname{cov}(Z_1, Z_2)$ $Z_1$ $Z_2$

covariance covariance-matrix

— RBM
источник

Фон

Ковариационная матрица для вектора случайных величин содержит процедуру вычисления дисперсии любой линейной комбинации этих случайных величин. Правило заключается в том, что для любого вектора коэффициентов , $\mathbb{A}$ $X=(X_1, X_2, \ldots, X_n)^\prime$ $\lambda = (\lambda_1, \ldots, \lambda_n)$

\begin{matrix} (1) & Var (λ X) = λ A λ^{'} . \end{matrix}

$\operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.\tag{1}$

Другими словами, правила умножения матриц описывают правила дисперсий.

Два свойства являются непосредственными и очевидными: $\mathbb{A}$

Поскольку отклонения являются ожиданиями квадратов, они никогда не могут быть отрицательными. Таким образом, для всех векторов ,Ковариационные матрицы должны быть неотрицательно определенными. $\lambda$
$0 \leq Var (λ X) = λ A λ^{'} .$ $0 \le \operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.$
Отклонения - это просто числа - или, если вы читаете матричные формулы буквально, они представляют собой матрицы . Таким образом, они не меняются, когда вы их транспонируете. Транспонирование дает Поскольку это верно для всех , должен быть равен его транспонированной : ковариационные матрицы должны быть симметричными. $1\times 1$ $(1)$
$λ A λ^{'} = Var (λ X) = Var (λ X)^{'} = {(λ A λ^{'})}^{'} = λ A^{'} λ^{'} .$ $\lambda \mathbb{A} \lambda ^\prime = \operatorname{Var}(\lambda X) = \operatorname{Var}(\lambda X) ^\prime = \left(\lambda \mathbb{A} \lambda ^\prime\right)^\prime = \lambda \mathbb{A}^\prime \lambda ^\prime.$ $\lambda$ $\mathbb{A}$ $\mathbb{A}^\prime$

Более глубокий результат состоит в том, что любая неотрицательно определенная симметричная матрица является ковариационной матрицей. $\mathbb{A}$ Это означает, что на самом деле существует некоторая векторная случайная величина с качестве ее ковариации. Мы можем продемонстрировать это путем явного построения . Один из способов - заметить, что (многомерная) функция плотности со свойством имеет для своей ковариации. (Некоторая деликатность необходима, когда не является обратимым - но это просто техническая деталь.) $X$ $\mathbb{A}$ $X$ $f(x_1,\ldots, x_n)$

\log (f) \propto - \frac{1}{2} (x_{1}, \dots, x_{n}) A^{- 1} (x_{1}, \dots, x_{n})^{'}

$\log(f) \propto -\frac{1}{2} (x_1,\ldots,x_n)\mathbb{A}^{-1}(x_1,\ldots,x_n)^\prime$

A

$\mathbb{A}$

A

$\mathbb{A}$

Решения

Пусть и ковариационные матрицы. Очевидно, они квадратные; и если их сумма имеет какой-то смысл, они должны иметь одинаковые размеры. Нам нужно только проверить два свойства. $\mathbb{X}$ $\mathbb{Y}$

Сумма.
- Симметрия показывает сумма симметрична. $(X + Y)^{'} = X^{'} + Y^{'} = (X + Y)$ $(\mathbb{X}+\mathbb{Y})^\prime = \mathbb{X}^\prime + \mathbb{Y}^\prime = (\mathbb{X} + \mathbb{Y})$
- Неотрицательная определенность. Пусть будет любым вектором. Тогда доказывает точку, используя основные свойства умножения матриц. $\lambda$ $λ (X + Y) λ^{'} = λ X λ^{'} + λ Y λ^{'} \geq 0 + 0 = 0$ $\lambda(\mathbb{X}+\mathbb{Y})\lambda^\prime = \lambda \mathbb{X}\lambda^\prime + \lambda \mathbb{Y}\lambda^\prime \ge 0 + 0 = 0$
Я оставляю это как упражнение.
Этот хитрый. Один метод, который я использую, чтобы продумать сложные матричные задачи, состоит в том, чтобы сделать некоторые вычисления с матрицы Есть несколько распространенных, знакомых ковариационных матриц такого размера, таких как с и . Проблема заключается в том, что может не быть определенным: то есть может ли он давать отрицательное значение при вычислении дисперсии? Если это произойдет, то нам лучше иметь некоторые отрицательные коэффициенты в матрице. Это предполагает рассмотрение для . Чтобы получить что-то интересное, мы могли бы изначально стремиться к матрицам $2\times 2$
$(\begin{matrix} a & b \\ b & a \end{matrix})$ $\pmatrix{a & b \\ b & a}$ $a^2 \ge b^2$ $a \ge 0$ $\mathbb{XY}$ $X = (\begin{matrix} a & - 1 \\ - 1 & a \end{matrix})$ $\mathbb{X} = \pmatrix{a & -1 \\ -1 & a}$ $a \ge 1$ $\mathbb{Y}$ с различными структурами. На ум приходят диагональные матрицы, такие как с . (Обратите внимание, как мы можем свободно выбирать некоторые коэффициенты, такие как и , потому что мы можем масштабировать все записи в любой ковариационной матрице без изменения ее фундаментальных свойств. Это упрощает поиск интересных примеров.) $Y = (\begin{matrix} b & 0 \\ 0 & 1 \end{matrix})$ $\mathbb{Y} = \pmatrix{b & 0 \\ 0 & 1}$ $b\ge 0$ $-1$ $1$
Я оставляю вам задачу вычислить и проверить, всегда ли она является ковариационной матрицей для любых допустимых значений и . $\mathbb{XY}$ $a$ $b$

— Whuber
источник

Вещественная матрица является ковариационной матрицей тогда и только тогда, когда она является симметричной положительной полуопределенной матрицей.

подсказки:

1) Если и симметричны, является ли симметричным? Если для любых и для любых , что вы можете сделать по поводу ? $X$ $Y$ $X+Y$ $z^TX z \ge 0$ $z$ $z^TY z \ge 0$ $z$ $z^T(X+Y)z$

2) Если симметричен, симметричен? Если собственные значения неотрицательны, что вы можете сделать вывод о собственных значениях ? $X$ $X^2$ $X$ $X^2$

3) Если и симметричны, можете ли вы сделать вывод, что симметричен, или вы можете найти контрпример? $X$ $Y$ $XY$

— Марк Л. Стоун
источник