Заполнение матрицы корреляции 3x3: два коэффициента из трех данных

20

Мне задали этот вопрос в интервью.

Допустим, у нас есть корреляционная матрица вида

[\begin{matrix} 1 & 0.6 & 0.8 \\ 0.6 & 1 & γ \\ 0.8 & γ & 1 \end{matrix}]

$\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix}$

Меня попросили найти значение гаммы, учитывая эту матрицу корреляции.
Я думал, что мог бы что-то сделать с собственными значениями, поскольку все они должны быть больше или равны 0. (Матрица должна быть положительной полуопределенной) - но я не думаю, что этот подход даст ответ. Мне не хватает трюка.

Не могли бы вы дать подсказку, чтобы решить для того же?

pearson-r correlation-matrix

— начинающий
источник

Комментарии не для расширенного обсуждения; этот разговор был перенесен в чат .

— whuber

1

Поиск этого сайта привел непосредственно к одной из (нескольких) тем, содержащих соответствующие формулы: stats.stackexchange.com/questions/5747 . Есть также некоторые полезные участки в ответе Феликс s .

— whuber

21

Мы уже знаем, что ограничена между . Матрица корреляции должна быть положительной полуопределенной, и, следовательно, ее главные миноры должны быть неотрицательными $\gamma$ $[-1,1]$

Таким образом,

\begin{aligned} 1 (1 - γ^{2}) - 0.6 (0.6 - 0.8 γ) + 0.8 (0.6 γ - 0.8) & \geq 0 \\ - γ^{2} + 0.96 γ \geq 0 \\ ⟹ γ (γ - 0.96) \leq 0 and - 1 \leq γ \leq 1 \\ ⟹ 0 \leq γ \leq 0.96 \end{aligned}

$\begin{align*} 1(1-\gamma^2)-0.6(0.6-0.8\gamma)+0.8(0.6\gamma-0.8) &\geq 0\\ -\gamma^2+0.96\gamma \geq 0\\ \implies \gamma(\gamma-0.96) \leq 0 \text{ and } -1 \leq \gamma \leq 1 \\ \implies 0 \leq \gamma \leq 0.96 \end{align*}$

— rightskewed
источник

4

@novice Вы, возможно, захотите прочитать о Критерии Сильвестра

— права искал

Отличный ответ. Я хотел бы добавить следующее: Популярный способ получения гаммы - попытка найти гамму, которая привела бы к матрице корреляции наименьшей ядерной нормы (иначе называемой нормой ky-fan) при решении приведенных выше уравнений. Для получения дополнительной информации ищите «завершение матрицы», «определение сжатия» или ознакомьтесь с этим отчетом по теме bit.ly/2iwY1nW .

— Мустафа С Эйса

1

Чтобы это было доказательством, вам нужен результат в другом направлении: если все нетривиальные старшие миноры

и матрица имеет определитель

, то матрица положительна полуопределена.

> 0

$>0$

\geq 0

$\geq 0$

— Федерико Полони

10

Вот более простое (и, возможно, более интуитивное) решение:

Думайте о ковариации как о внутреннем произведении абстрактного векторного пространства . Затем записи в корреляционной матрицы для векторов , , , где угловые скобки обозначает угол между и . $\cos\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_1$ $\mathbf{v}_2$ $\mathbf{v}_3$ $\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_i$ $\mathbf{v}_j$

Не трудно представить , что ограничена , Граница его косинуса ( ), таким образом , . Основная тригонометрия тогда дает $\langle\mathbf{v}_2,\mathbf{v}_3\rangle$ $|\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle|$ $\gamma$ $\cos\left[\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle\right]$ . $\gamma\in[0.6\times 0.8 - 0.6\times 0.8, 0.6\times 0.8 + 0.6\times 0.8] = [0, 0.96]$

Изменить: Обратите внимание , что в последней строке действительно - второе появление 0,6 и 0,8 происходит по совпадению благодаря $0.6\times 0.8 \mp 0.6\times 0.8$ $\cos\langle\mathbf{v}_1,\mathbf{v}_2\rangle\cos\langle\mathbf{v}_1,\mathbf{v}_3\rangle\mp \sin\langle\mathbf{v}_1,\mathbf{v}_3\rangle\sin\langle\mathbf{v}_1,\mathbf{v}_2\rangle$ $0.6^2+0.8^2=1$ ,

— yangle
источник

1

+1, законные геометрические рассуждения (тем не менее, я не проверял ваши вычисления). Это именно то, что я предложил в комментариях к вопросу (к сожалению, все комментарии были перенесены модератором в чат, см. Ссылку выше).

— ttnphns

Мне кажется, что вы «доказали», что все корреляции должны быть неотрицательными, потому что кажется, что ваш расчет всегда будет давать ноль для нижнего предела. Если это не так, то не могли бы вы рассказать о том, как в целом работают ваши вычисления? Я действительно не доверяю - или, возможно, не понимаю - вашей границы, потому что в трех или более измерениях вы всегда можете найти

для которого оба

а затем Ваша оценка подразумевает, что

всегда равно нулю! (cc @ttnphns)

v_{1}

$v_1$

v_{1} \cdot v_{2} = v_{1} \cdot v_{3} = 0

$v_1\cdot v_2=v_1\cdot v_3=0$

v_{2} \cdot v_{3}

$v_2\cdot v_3$

— whuber

@whuber: Извините за путаницу. Расчет не всегда дает ноль для нижнего предела. Я исправил свой ответ.

— Yangle

Как вы реагируете на мое последнее беспокойство? Похоже, что ваши оценки неверны.

— whuber

@whuber: В вашем случае ⟨v1, v2⟩ = ⟨v1, v3⟩ = π / 2, следовательно, оценка | 1v1, v2⟩ ± ⟨v1, v3⟩ | [0, π], как и ожидалось. Оценка cos⟨v1, v2⟩cos⟨v1, v3⟩∓sin⟨v1, v3⟩sin⟨v1, v2⟩ на γ также оказывается равной [-1, 1].

— Yangle

4

Here is what I meant in my initial comment to the answer and what I perceive @yangle may be speaking about (although I didn't follow/check their computation).

«Матрица должна быть положительной полуопределенной» означает, что переменные векторы представляют собой сгусток в евклидовом пространстве. Случай с корреляционной матрицей проще, чем с ковариационной матрицей, поскольку три длины вектора фиксированы и равны 1. Представьте себе 3 единичных вектора XYZ и помните, что является косинусом угла . Итак, и . Каковы могут быть границы для $r$ $\cos \alpha=r_{xy}=0.6$ $\cos \beta=r_{yz}=0.8$ $\cos \gamma=r_{xz}$ ? That correlation can take on any value defined by Z circumscribing about Y (keeping angle $r_{yz}=0.8$ with it):

As it spins, two positions are remarkable as ultimate wrt X, both are when Z falls into the plane XY. One is between X and Y, and the other is on the opposite side of Y. These are shown by blue and red vectors. At both these positions exactly the configuration XYZ (correlation matrix) is singular. And these are the minimal and maximal angle (hence correlation) Z can attain wrt X.

Picking the trigonometric formula to compute sum or difference of angles on a plane, we have:

$\cos \gamma = r_{xy} r_{yz} \mp \sqrt{(1-r_{xy}^2)(1-r_{yz}^2)} = [0,0.96]$ as the bounds.

This geometric view is just another (and a specific and simpler in 3D case) look on what @rightskewed expressed in algebraic terms (minors etc.).

— ttnphns
источник

If X,Y,Z are random variables, how do you map them to vectors in 3d space (They can only be vectors in 1d space). Also if the RV's are Nx1, then they will be vectors in N dimensional space?

— novice

@novice Yes, they are initially 3 vectors in Nd space, but only 3 dimensions are nonredundant. Please follow the 2nd link in the answer and read further reference there to subject space where it is explained.

— ttnphns

4

Playing around with principal minors may be fine on 3 by 3 or maybe 4 by 4 problems, but runs out of gas and numerical stability in higher dimensions.

Для одной проблемы «свободного» параметра, такой как эта, легко видеть, что набор всех значений, составляющих матрицу psd, будет одним интервалом. Поэтому достаточно найти минимальные и максимальные такие значения. Это может быть легко достигнуто путем численного решения пары задач линейного полуопределенного программирования (SDP):

свести к минимуму γ с учетом матрицы PSD.
максимизировать γ с учетом матрицы PSD.

Например, эти проблемы могут быть сформулированы и численно решены с использованием YALMIP под MATLAB.

гамма = сдпвар; A = [1, 6, 8; .6 1 гамма; .8 гамма 1]; оптимизировать (A> = 0, гамма)
оптимизировать (A> = 0, -гамма)

Быстро, просто и надежно.

BTW, if the smarty pants interviewer asking the question doesn't know that SemiDefinite Programming, which is well-developed and has sophisticated and easy to use numerical optimizers for reliably solving practical problems, can be used to solve this problem, and many much more difficult variants, tell him/her that this is no longer 1870, and it's time to take advantage of modern computational developments.

— Mark L. Stone
источник

4

Let us consider the following convex set

{(x, y, z) \in R^{3} : [\begin{matrix} 1 & x & y \\ x & 1 & z \\ y & z & 1 \end{matrix}] ⪰ O_{3}}

$\Bigg\{ (x,y,z) \in \mathbb R^3 : \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} \succeq \mathrm O_3 \Bigg\}$

which is a spectrahedron named $3$ -dimensional elliptope. Here's a depiction of this elliptope

Intersecting this elliptope with the planes defined by $x=0.6$ and by $y=0.8$ , we obtain a line segment whose endpoints are colored in yellow

The boundary of the elliptope is a cubic surface defined by

det [\begin{matrix} 1 & x & y \\ x & 1 & z \\ y & z & 1 \end{matrix}] = 1 + 2 x y z - x^{2} - y^{2} - z^{2} = 0

$\det \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} = 1 + 2 x y z - x^2 - y^2 - z^2 = 0$

If $x=0.6$ and $y=0.8$ , then the cubic equation above boils down to the quadratic equation

0,96 Z - Z^{2} знак равно Z (0,96 - Z) знак равно 0

$0.96 z - z^2 = z (0.96 - z) = 0$

Таким образом, пересечение эллиптопа с двумя плоскостями является отрезком прямой, параметризованным

{(0.6, 0.8, T) | 0 \leq T \leq 0,96}

$\{ (0.6, 0.8, t) \mid 0 \leq t \leq 0.96 \}$

— Родриго де Азеведо
источник

1

Каждая положительная полуопределенная матрица является матрицей корреляции / ковариации (и наоборот).

Чтобы увидеть это, начните с положительной полуопределенной матрицы $A$ и принять его собственное разложение (которое существует по спектральной теореме, так как $A$ симметрично) $A=UDU^T$ где $U$ является матрицей ортонормированных собственных векторов и $D$ is a diagonal matrix with eigen values on the diagonal. Then, let $B= U D^{1/2} U^T$ where $D^{1/2}$ is a diagonal matrix with the square root of eignevalues on the diagonal.

Then, take a vector with i.i.d. mean zero and variance 1 entries, $\mathbf{x}$ and note that $B \mathbf{x}$ also has mean zero, and covariance (and correlation) matrix $A$ .

Now, to see every correlation/covariance matrix is positive semi-definite is simple: Let $R=E[\mathbf{x}\mathbf{x}^T]$ be a correlation matrix. Then, $R = R^T$ is easy to see, and $\mathbf{a}^T R \mathbf{a} = E[(\mathbf{a}^T \mathbf{x})^2] \geq 0$ so the Rayleigh quotient is non-negative for any non-zero $\mathbf{a}$ so $R$ is positive semi-definite.

Now, noting that a symmetric matrix is positive semi-definite if and only if its eigenvalues are non-negative, we see that your original approach would work: calculate the characteristic polynomial, look at its roots to see if they are non-negative. Note that testing for positive definiteness is easy with Sylvester's Criterion (as mentioned in another answer's comment; a matrix is positive definite if and only if the principal minors all have positive determinant); there are extensions for semidefinite (all minors have non-negative determinant), but you have to check $2^n$ minors in this case, versus just $n$ for positive definite.

— Batman
источник