Подходящая мера для поиска наименьшей ковариационной матрицы

В учебнике, который я читаю, они используют положительную определенность (полуположительную определенность) для сравнения двух ковариационных матриц. Идея заключается в том , что если имеет полидисперсность , то меньше , чем . Но я изо всех сил пытаюсь получить интуицию этих отношений? $A-B$ $B$ $A$

Здесь есть похожая тема:

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

Какова интуиция для использования определенности для сравнения матриц?

Хотя ответы хороши, они не обращаются к интуиции.

Вот пример, который я нахожу запутанным:

[\begin{matrix} 16 & 12 \\ 12 & 9 \end{matrix}] - [\begin{matrix} 1 & 2 \\ 2 & 4 \end{matrix}]

$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$

теперь здесь определитель разности равен -25, поэтому отношение не pd или даже psd, и поэтому первая матрица не больше первой?

Я просто хочу сравнить две ковариационные матрицы 3 * 3, чтобы увидеть, какая из них наименьшая? Мне кажется более интуитивно понятным использовать что-то вроде евклидовой нормы для их сравнения? Однако это будет означать, что первая матрица выше, чем вторая матрица. Более того, я только когда-либо видел критерий pd / psd, используемый для сравнения ковариационных матриц.

Может кто-нибудь объяснить, почему pd / psd лучше, чем использование другой меры, такой как евклидова норма?

Я также разместил этот вопрос на форуме по математике (не был уверен, что было лучше) надеюсь, что это не противоречит каким-либо правилам.

/math/628135/comparing-two-covariance-matrices

— Baz
источник

Вы могли бы хотеть прочитать это, где интуиция позади положительной (полу) определенности рассматривается. При сравнении 2 отклонений aи b, если a-bположительно , то можно сказать , что при удалении вариабельности bиз aостается некоторые «реальной» вариабельность оставила в a. Аналогичным образом, это случай многомерных дисперсий (= ковариационных матриц) Aи B. Если A-Bон положительно определен, то это означает, что A-Bконфигурация векторов является «реальной» в евклидовом пространстве: другими словами, после удаления Bиз нее Aпоследняя остается жизнеспособной изменчивостью.

— ttnphns

Что вы подразумеваете под «наименьшей» из двух ковариационных матриц?

— whuber

Привет, ковариационные матрицы относятся к конкурирующим оценщикам, я хочу выбрать оценщик, который имеет наименьшую дисперсию. (Это проясняет ситуацию?)

— Баз

Баз: Тогда почему бы не сравнить различия оценок непосредственно?

— Glen_b

Привет, метод установлен, дано выражение для того, что они называют дисперсией (которая включает ковариации). Однако даже если бы я сравнивал только дисперсии, это все равно включало бы сравнение значений вектора, что будет иметь аналогичные проблемы при сравнении значений матрицы?

— Баз

Ответы:

Упорядочение матриц, на которые вы ссылаетесь, называется порядком Лёвнера и является частичным порядком, широко используемым при изучении положительно определенных матриц. Книжная обработка геометрии на многообразии положительно определенных (posdef) матриц здесь .

Сначала я попытаюсь ответить на ваш вопрос об интуиции . (Симметричная) матрица является posdef, если для всех . Если - случайная величина (rv) с ковариационной матрицей , то (пропорциональна) ее проекции на некоторое одномерное подпространство и . Применяя это к в вашем Q, во-первых: это ковариационная матрица, во-вторых: случайная величина с коварной матрицей проецируется во всех направлениях с меньшей дисперсией, чем rv с ковариационной матрицей $A$ $c^T A c\ge 0$ $c \in \mathbb{R}^n$ $X$ $A$ $c^T X$ $\mathbb{Var}(c^T X) = c^T A c$ $A-B$ $B$ $A$ , Это делает интуитивно понятным, что этот порядок может быть только частичным, есть много rv, которые будут проецироваться в разных направлениях с дико разными отклонениями. Ваше предложение какой-то евклидовой нормы не имеет такой естественной статистической интерпретации.

Ваш "запутанный пример" сбивает с толку, потому что обе матрицы имеют нулевой определитель. Таким образом, для каждого есть одно направление (собственный вектор с собственным значением ноль), где они всегда проецируются на ноль . Но это направление отличается для двух матриц, поэтому их нельзя сравнивать.

Порядок Лёвнера определяется так, что , более положительно определен, чем , если является posdef. Это частичный порядок, для некоторых матриц posdef ни ни являются posdef. Пример: Один из способов графически это показывает чертеж с двумя эллипсами, но с центром в начале координат, стандартным образом связанным с матрицами (тогда радиальное расстояние в каждом направлении пропорционально дисперсии проецирования в этом направлении): $A \preceq B$ $B$ $A$ $B-A$ $B-A$ $A-B$

A = (\begin{matrix} 1 & 0.5 \\ 0.5 & 1 \end{matrix}), B = (\begin{matrix} 0.5 & 0 \\ 0 & 1.5 \end{matrix})

$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$

В этом случае два эллипса являются конгруэнтными, но вращаются по-разному (фактически угол составляет 45 градусов). Это соответствует тому факту, что матрицы и имеют одинаковые собственные значения, но собственные векторы вращаются. $A$ $B$

Поскольку этот ответ во многом зависит от свойств эллипсов, следующий Что такое интуиция за условными гауссовыми распределениями? объяснение эллипсов геометрически, может быть полезно.

Теперь я объясню, как определяются эллипсы, связанные с матрицами. Матрица posdef определяет квадратичную форму . Это можно построить как функцию, график будет квадратичным. Если то график всегда будет выше графика . Если мы разрежем графики с горизонтальной плоскостью на высоте 1, то разрезы будут описывать эллипсы (это фактически способ определения эллипсов). Эти эллипсы разреза задаются уравнениями и мы видим, что $A$ $Q_A(c) = c^T A c$ $A \preceq B$ $Q_B$ $Q_A$

Q_{A} (c) = 1, Q_{B} (c) = 1

$Q_A(c)=1, \quad Q_B(c)=1$

A ⪯ B

$A \preceq B$ соответствует эллипсу B (теперь с внутренним пространством), содержащемуся в эллипсе A. Если нет порядка, не будет никакого сдерживания. Мы наблюдаем, что порядок включения противоположен частичному порядку Лёвнера, если нам не нравится, что мы можем нарисовать эллипсы из обратных. Это потому, что эквивалентен . Но я останусь с эллипсами, как определено здесь.

A ⪯ B

$A \preceq B$

B^{- 1} ⪯ A^{- 1}

$B^{-1} \preceq A^{-1}$

Эллипс можно описать с помощью полуосей и их длины. Мы будем обсуждать здесь только -матрицы, так как они те, которые мы можем нарисовать ... Итак, нам нужны две главные оси и их длина. Это может быть найдено, как объяснено здесь с помощью собственного разложения матрицы posdef. Тогда главные оси задаются собственными векторами, а их длина может быть вычислена из собственных значений как Также можно видеть, что площадь эллипса, представляющего равна . $2\times 2$ $a,b$ $\lambda_1, \lambda_2$

a = \sqrt{1 / λ_{1}}, b = \sqrt{1 / λ_{2}} .

$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$

A

$A$

π a b = π \sqrt{1 / λ_{1}} \sqrt{1 / λ_{2}} = \frac{π}{\sqrt{det A}}

$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$

Я приведу один последний пример, где можно заказать матрицы:

В этом случае две матрицы:

A = (\begin{matrix} 2 / 3 & 1 / 5 \\ 1 / 5 & 3 / 4 \end{matrix}), B = (\begin{matrix} 1 & 1 / 7 \\ 1 / 7 & 1 \end{matrix})

$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$

— Къетил б Халворсен
источник

@kjetil b halvorsen дает хорошее обсуждение геометрической интуиции за положительной полуопределенностью как частичного упорядочения. Я дам более грубый взгляд на ту же интуицию. Тот, который исходит из того, какие виды вычислений вы хотели бы сделать с вашими матрицами дисперсии.

Предположим, у вас есть две случайные величины и . Если они являются скалярами, то мы можем вычислить их дисперсии как скаляры и сравнить их очевидным образом, используя скалярные действительные числа и . Поэтому, если и , мы говорим, что случайная величина имеет меньшую дисперсию, чем . $x$ $y$ $V(x)$ $V(y)$ $V(x)=5$ $V(y)=15$ $x$ $y$

С другой стороны, если и являются векторными случайными величинами (скажем, они являются двумя векторами), то, как мы сравниваем их дисперсии, не так очевидно. Скажите, что их отклонения: Как мы сравниваем дисперсии этих двух случайных векторов? Одна вещь, которую мы могли бы сделать, это просто сравнить дисперсии их соответствующих элементов. Таким образом, мы можем сказать, что дисперсия меньше, чем дисперсия , просто сравнивая действительные числа, например: и $x$ $y$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.5 \\ 0.5 & 1 \end{array}] V (y) = [\begin{array}{cc} 8 & 3 \\ 3 & 6 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$

x_{1}

$x_1$

y_{1}

$y_1$

V (x_{1}) = 1 < 8 = V (y_{1})

$V(x_1)=1<8=V(y_1)$

V (x_{2}) = 1 < 6 = V (y_{2})

$V(x_2)=1<6=V(y_2)$ , Таким образом, возможно, мы могли бы сказать, что дисперсия является дисперсией если дисперсия каждого элемента является дисперсией соответствующего элемента . Это было бы как сказать если каждый из диагональных элементов является соответствующим диагональным элементом .

x

$x$

\leq

$\le$

y

$y$

x

$x$

\leq

$\le$

y

$y$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x)

$V(x)$

\leq

$\le$

V (y)

$V(y)$

Это определение кажется разумным на первый взгляд. Кроме того, поскольку матрицы дисперсий, которые мы рассматриваем, являются диагональными (т. Е. Все ковариации равны 0), это то же самое, что и использование полуопределенности. То есть, если отклонения выглядят как затем произнесите является положительно-полуопределенным (то есть, что ) - это то же самое, что сказать и . Все кажется хорошим, пока мы не введем ковариации. Рассмотрим этот пример:

\begin{aligned} V (x) = [\begin{array}{cc} V (x_{1}) & 0 \\ 0 & V (x_{2}) \end{array}] V (y) = [\begin{array}{cc} V (y_{1}) & 0 \\ 0 & V (y_{2}) \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$

V (y) - V (x)

$V(y)-V(x)$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{1}) \leq V (y_{1})

$V(x_1) \le V(y_1)$

V (x_{2}) \leq V (y_{2})

$V(x_2) \le V(y_2)$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.1 \\ 0.1 & 1 \end{array}] V (y) = [\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$ Теперь, используя сравнение, которое учитывает только диагонали, мы бы сказали и, действительно, все еще верно, что поэлементно . Что может начать беспокоить нас об этом, так это то, что если мы вычислим некоторую взвешенную сумму элементов векторов, например и , то мы с тем, что хотя мы говорим .

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{k}) \leq V (y_{k})

$V(x_k) \le V(y_k)$

3 x_{1} + 2 x_{2}

$3x_1 + 2x_2$

3 y_{1} + 2 y_{2}

$3y_1 + 2y_2$

V (3 x_{1} + 2 x_{2}) > V (3 y_{1} + 2 y_{2})

$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$

V (x) \leq V (y)

$V(x) \le V(y)$

Это странно, правда? Когда и являются скаляры, то гарантирует , что при любом фиксированном, неслучайное , . $x$ $y$ $V(x) \le V(y)$ $a$ $V(ax) \le V(ay)$

Если по какой-либо причине нас интересуют линейные комбинации элементов случайных величин, подобные этой, то мы можем усилить наше определение для дисперсионных матриц. Может быть, мы хотим сказать тогда и только тогда, когда верно, что , независимо от того, какие фиксированные числа и мы выберем. Обратите внимание, что это более сильное определение, чем определение только по диагонали, поскольку, если мы выбираем оно говорит , а если мы выбираем оно говорит . $\le$ $V(x) \le V(y)$ $V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$ $a_1$ $a_2$ $a_1=1,a_2=0$ $V(x_1) \le V(y_1)$ $a_1=0,a_2=1$ $V(x_2) \le V(y_2)$

Это второе определение, которое говорит тогда и только тогда, когда для каждого возможного фиксированного вектора , является обычным методом сравнения дисперсии матрицы, основанные на положительной полуопределенности: Посмотрите на последнее выражение и определение положительного полуопределения, чтобы убедиться, что определение для дисперсионных матриц выбрано именно так, чтобы гарантировать, что тогда и только тогда, когда для любого выбора , т. е. когда положительно полу -definite. $V(x) \le V(y)$ $V(a'x) \le V(a'y)$ $a$

\begin{aligned} V (a^{'} y) - V (a^{'} x) = a^{'} V (x) a - a^{'} V (y) a = a^{'} (V (x) - V (y)) a \end{aligned}

$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$

\leq

$\le$

V (x) \leq V (y)

$V(x) \le V(y)$

V (a^{'} x) \leq V (a^{'} y)

$V(a'x) \le V(a'y)$

a

$a$

(V (y) - V (x))

$\left( V(y)-V(x) \right)$

Итак, ответ на ваш вопрос заключается в том, что люди говорят, что матрица дисперсии меньше, чем матрица дисперсии если является положительной полуопределенностью, потому что они заинтересованы в сравнении дисперсий линейных комбинаций элементов лежащих в основе случайных векторов. Какое определение вы выбираете, следует тому, что вас интересует в вычислениях, и как это определение помогает вам в этих вычислениях. $V$ $W$ $W-V$

— Билл
источник