Геометрическое понимание СПС в предметном (двойственном) пространстве

Я пытаюсь получить интуитивное понимание того, как анализ главных компонентов (PCA) работает в предметном (двойном) пространстве .

Рассмотрим двумерный набор данных с двумя переменными, $x_1$ и $x_2$ , и $n$ точками данных (матрица данных $\mathbf X$ имеет $n\times 2$ и предполагается, что она центрирована). Обычное представление PCA состоит в том, что мы рассматриваем $n$ точек в $\mathbb R^2$ , записываем ковариационную матрицу $2\times 2$ и находим ее собственные векторы и собственные значения; первый ПК соответствует направлению максимальной дисперсии и т. д. Вот пример с ковариационной матрицей $\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right)$ , Красные линии показывают собственные векторы, масштабированные квадратными корнями соответствующих собственных значений.

$\hskip 1in$

Теперь рассмотрим, что происходит в предметном пространстве (я узнал этот термин из @ttnphns), также известном как двойное пространство (термин, используемый в машинном обучении). Это мерное пространство, где выборки наших двух переменных (два столбца из ) образуют два вектора и . Квадратная длина каждого переменного вектора равна его дисперсии, косинус угла между двумя векторами равен корреляции между ними. Это представление, кстати, очень стандартно при лечении множественной регрессии. В моем примере предметное пространство выглядит так (я показываю только 2D-плоскость, натянутую на два переменных вектора): $n$ $\mathbf X$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

Главные компоненты, являющиеся линейными комбинациями двух переменных, образуют два вектора и в одной плоскости. Мой вопрос: каково геометрическое понимание / интуиция того, как формировать векторы переменных главных компонент, используя оригинальные векторы переменных на таком графике? Учитывая и , какая геометрическая процедура даст ? $\mathbf p_1$ $\mathbf p_2$ $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$

Ниже мое текущее частичное понимание этого.

Прежде всего, я могу вычислить основные компоненты / оси с помощью стандартного метода и построить их на том же рисунке:

$\hskip 1in$

Кроме того, мы можем отметить, что выбрано таким, что сумма квадратов расстояний между (голубыми векторами) и их проекциями на минимальна; эти расстояния являются ошибками реконструкции и показаны черными пунктирными линиями. Эквивалентно, максимизирует сумму квадратов длин обеих проекций. Это полностью определяет и, конечно, полностью аналогично аналогичному описанию в основном пространстве (см. Анимацию в моем ответе «Осмысление анализа главных компонент, собственных векторов и собственных значений»). Смотрите также первую частьответа @ ttnphns'es здесь. $\mathbf p_1$ $\mathbf x_i$ $\mathbf p_1$ $\mathbf p_1$ $\mathbf p_1$

Тем не менее, это не достаточно геометрический! Это не говорит мне, как найти такой и не указывает его длину. $\mathbf p_1$

Я предполагаю, что , , и все лежат на одном эллипсе с центром в где и являются его основными осями. Вот как это выглядит в моем примере: $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$ $\mathbf p_2$ $0$ $\mathbf p_1$ $\mathbf p_2$

$\hskip 1in$

Q1: как доказать это? Прямая алгебраическая демонстрация кажется очень утомительной; как увидеть, что это должно быть так?

Но есть много разных эллипсов с центром в и проходящих через и : $0$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

Q2: Что определяет «правильный» эллипс? Моим первым предположением было, что это эллипс с максимально длинной главной осью; но это кажется неправильным (есть эллипсы с главной осью любой длины).

Если есть ответы на вопросы Q1 и Q2, я также хотел бы знать, обобщаются ли они на случай более двух переменных.

— амеба говорит восстановить монику
источник

Правда ли, что существует много возможных эллипсов, которые центрированы в начале координат (где x1 и x2 пересекаются) и контактируют с дальними концами x1 & x2? Я бы подумал, что будет только один. Конечно, их может быть много, если вы расслабите один из этих трех критериев (центр и два конца).

— gung - Восстановить Монику

Есть множество эллипсов с центром в начале координат, проходящих через два вектора. Но для неколлинеарных векторов

есть только один, который является единичным кругом в двойственном базисе. Это локус

где

(a, b)

$(a,b)$

(c, d)

$(c,d)$

x (a, b) + y (c, d)

$x(a,b)+y(c,d)$

{| {(\begin{matrix} a & c \\ b & d \end{matrix})}^{- 1} (\begin{matrix} x \\ y \end{matrix}) |}^{2} = 1.

$\left|\pmatrix{a&c\\b&d}^{-1}\pmatrix{x\\y}\right|^2=1.$ Из его главных осей можно многому научиться.

— whuber

variable space (I borrowed this term from ttnphns)- @amoeba, вы должны ошибаться. Переменные как векторы в (изначально) n-мерном пространстве называются предметным пространством (n предметов как оси «определяют» пространство, в то время как p-переменные «охватывают» его). Переменное пространство , наоборот, наоборот - то есть обычный график рассеяния. Так устанавливается терминология в многомерной статистике. (Если в машинном обучении все по-другому - я этого не знаю, - тогда это гораздо хуже для учащихся.)

— ttnphns

Обратите внимание, что оба являются векторными пространствами: векторы (= точки) - это то, что охватывает, оси - это то, что определяет направления и несут метки измерения. Обратите внимание также на диалектику: оба «пространства» на самом деле являются одним и тем же пространством (только сформулированы по-разному для текущей цели). Это видно, например, на последней картинке в этом ответе . Когда вы накладываете две формулировки, вы получаете биплот или двойной пробел.

— ttnphns

My guess is that x1, x2, p1, p2 all lie on one ellipseКакая здесь может быть эвристическая помощь от эллипса? Я в этом сомневаюсь.

— ttnphns

Все резюме отображаемые в вопросе, зависят только от его вторых моментов; или, что то же самое, на матрицу . Потому что мы думаем о как о облаке точек - каждая точка - это ряд $\mathbf X$ $\mathbf{X^\prime X}$ $\mathbf X$ --мы может спроситьчто простые операции по этим вопросам сохранения свойств . $\mathbf X$ $\mathbf{X^\prime X}$

Один из них - умножить влево на матрицу , что приведет к получению другого $\mathbf X$ $n\times n$ $\mathbf U$ матрицы . Чтобы это работало, важно, чтобы $n\times 2$ $\mathbf{UX}$

X^{'} X = (U X)^{'} U X = X^{'} (U^{'} U) X .

$\mathbf{X^\prime X} = \mathbf{(UX)^\prime UX} = \mathbf{X^\prime (U^\prime U) X}.$

Равенство гарантируется, когда является $\mathbf{U^\prime U}$ единичная матрица: то есть, когда являетсяортогональной. $n\times n$ $\mathbf{U}$

Хорошо известно (и легко показать), что ортогональные матрицы являются продуктами евклидовых отражений и вращений (они образуют группу отражений в ). Выбирая ротациюумом, мы можем значительно упростить . Одна идея состоит в том, чтобы сосредоточиться на вращениях, которые затрагивают только две точки в облаке одновременно. Это особенно просто,потому что мы можем их визуализировать. $\mathbb{R}^n$ $\mathbf{X}$

В частности, пусть и две различные точки , отличные от нуля в облаке, составляя на строки и на . Вращение пространства столбцов затрагивающее только эти две точки, преобразует их в $(x_i, y_i)$ $(x_j, y_j)$ $i$ $j$ $\mathbf{X}$ $\mathbb{R}^n$

{\begin{cases} (x_{i}^{'}, y_{i}^{'}) = (\cos (θ) x_{i} + \sin (θ) x_{j}, \cos (θ) y_{i} + \sin (θ) y_{j}) \\ (x_{j}^{'}, y_{j}^{'}) = (- \sin (θ) x_{i} + \cos (θ) x_{j}, - \sin (θ) y_{i} + \cos (θ) y_{j}) . \end{cases}

$\cases{(x_i^\prime, y_i^\prime) = (\cos(\theta)x_i + \sin(\theta)x_j, \cos(\theta)y_i + \sin(\theta)y_j) \\ (x_j^\prime, y_j^\prime) = (-\sin(\theta)x_i + \cos(\theta)x_j, -\sin(\theta)y_i + \cos(\theta)y_j).}$

То, что это составляет, - это рисование векторов и в плоскости и поворот их на угол . (Обратите внимание, как здесь смешиваются координаты! совпадают друг с другом, а - вместе. Таким образом, эффект этого вращения в обычно не будет выглядеть как вращение векторов и $(x_i, x_j)$ $(y_i, y_j)$ $\theta$ $x$ $y$ $\mathbb{R}^n$ $(x_i, y_i)$ $(x_j, y_j)$ как нарисовано в $\mathbb{R}^2$ )

Выбрав правильный угол, мы можем обнулить любой из этих новых компонентов. Чтобы быть конкретным, давайте выберем так, чтобы $\theta$

{\begin{cases} \cos (θ) = \pm \frac{x_{i}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \\ \sin (θ) = \pm \frac{x_{j}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \end{cases} .

$\cases{\cos(\theta) = \pm \frac{x_i}{\sqrt{x_i^2 + x_j^2}} \\ \sin(\theta) = \pm \frac{x_j}{\sqrt{x_i^2 + x_j^2}}}.$

Это делает . Выберите знак, чтобы сделать . Назовем эту операцию, которая изменяет точки и в облаке, представленном , $x_j^\prime=0$ $y_j^\prime \ge 0$ $i$ $j$ $\mathbf X$ . $\gamma(i,j)$

Рекурсивное применение к приведет к тому, что первый столбец станет ненулевым только в первой строке. Геометрически мы переместим все, кроме одной точки облака, на ось . Теперь мы можем применить один поворот, потенциально включающий в себя координаты в $\gamma(1,2), \gamma(1,3), \ldots, \gamma(1,n)$ $\mathbf{X}$ $\mathbf{X}$ $y$ $2, 3, \ldots, n$ , чтобы сжать эти $\mathbb{R}^n$ $n-1$ указывает на одну точку. Эквивалентное был уменьшен до блочной формы $X$

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & z \end{matrix}),

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ \mathbf{0} & \mathbf{z}},$

с и оба вектора столбцов с координатами, таким образом, что $\mathbf{0}$ $\mathbf{z}$ $n-1$

X^{'} X = (\begin{matrix} {(x_{1}^{'})}^{2} & x_{1}^{'} y_{1}^{'} \\ x_{1}^{'} y_{1}^{'} & {(y_{1}^{'})}^{2} + | | z | |^{2} \end{matrix}) .

$\mathbf{X^\prime X} = \pmatrix{\left(x_1^\prime\right)^2 & x_1^\prime y_1^\prime \\ x_1^\prime y_1^\prime & \left(y_1^\prime\right)^2 + ||\mathbf{z}||^2}.$

This final rotation further reduces $\mathbf{X}$ to its upper triangular form

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & | | z | | \\ 0 & 0 \\ ⋮ & ⋮ \\ 0 & 0 \end{matrix}) .

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}|| \\ 0 & 0 \\ \vdots & \vdots \\ 0 & 0}.$

In effect, we can now understand $\mathbf{X}$ in terms of the much simpler $2\times 2$ matrix $\pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}||}$ created by the last two nonzero points left standing.

To illustrate, I drew four iid points from a bivariate Normal distribution and rounded their values to

X = (\begin{matrix} 0.09 & 0.12 \\ - 0.31 & - 0.63 \\ 0.74 & - 0.23 \\ - 1.8 & - 0.39 \end{matrix})

$\mathbf{X} = \pmatrix{ 0.09 & 0.12 \\ -0.31 & -0.63 \\ 0.74 & -0.23 \\ -1.8 & -0.39}$

This initial point cloud is shown at the left of the next figure using solid black dots, with colored arrows pointing from the origin to each dot (to help us visualize them as vectors).

The sequence of operations effected on these points by $\gamma(1,2), \gamma(1,3),$ and $\gamma(1,4)$ results in the clouds shown in the middle. At the very right, the three points lying along the $y$ axis have been coalesced into a single point, leaving a representation of the reduced form of $\mathbf X$ . The length of the vertical red vector is $||\mathbf{z}||$ ; the other (blue) vector is $(x_1^\prime, y_1^\prime)$ .

Notice the faint dotted shape drawn for reference in all five panels. It represents the last remaining flexibility in representing $\mathbf X$ : as we rotate the first two rows, the last two vectors trace out this ellipse. Thus, the first vector traces out the path

\begin{matrix} (1) & θ \to (\cos (θ) x_{1}^{'}, \cos (θ) y_{1}^{'} + \sin (θ) | | z | |) \end{matrix}

$\theta\ \to\ (\cos(\theta)x_1^\prime, \cos(\theta) y_1^\prime + \sin(\theta)||\mathbf{z}||)\tag{1}$

while the second vector traces out the same path according to

\begin{matrix} (2) & θ \to (- \sin (θ) x_{1}^{'}, - \sin (θ) y_{1}^{'} + \cos (θ) | | z | |) . \end{matrix}

$\theta\ \to\ (-\sin(\theta)x_1^\prime, -\sin(\theta) y_1^\prime + \cos(\theta)||\mathbf{z}||).\tag{2}$

We may avoid tedious algebra by noting that because this curve is the image of the set of points $\{(\cos(\theta), \sin(\theta))\,:\, 0 \le \theta\lt 2\pi\}$ under the linear transformation determined by

(1, 0) \to (x_{1}^{'}, 0); (0, 1) \to (y_{1}^{'}, | | z | |),

$(1,0)\ \to\ (x_1^\prime, 0);\quad (0,1)\ \to\ (y_1^\prime, ||\mathbf{z}||),$

it must be an ellipse. (Question 2 has now been fully answered.) Thus there will be four critical values of $\theta$ in the parameterization $(1)$ , of which two correspond to the ends of the major axis and two correspond to the ends of the minor axis; and it immediately follows that simultaneously $(2)$ gives the ends of the minor axis and major axis, respectively. If we choose such a $\theta$ , the corresponding points in the point cloud will be located at the ends of the principal axes, like this:

Because these are orthogonal and are directed along the axes of the ellipse, they correctly depict the principal axes: the PCA solution. That answers Question 1.

The analysis given here complements that of my answer at Bottom to top explanation of the Mahalanobis distance. There, by examining rotations and rescalings in $\mathbb{R}^2$ , I explained how any point cloud in $p=2$ dimensions geometrically determines a natural coordinate system for $\mathbb{R}^2$ . Here, I have shown how it geometrically determines an ellipse which is the image of a circle under a linear transformation. This ellipse is, of course, an isocontour of constant Mahalanobis distance.

Another thing accomplished by this analysis is to display an intimate connection between QR decomposition (of a rectangular matrix) and the Singular Value Decomposition, or SVD. The $\gamma(i,j)$ are known as Givens rotations. Their composition constitutes the orthogonal, or " $Q$ ", part of the QR decomposition. What remained--the reduced form of $\mathbf{X}$ --is the upper triangular, or " $R$ " part of the QR decomposition. At the same time, the rotation and rescalings (described as relabelings of the coordinates in the other post) constitute the $\mathbf{D}\cdot \mathbf{V}^\prime$ part of the SVD, $\mathbf{X} = \mathbf{U\, D\, V^\prime}$ . The rows of $\mathbf{U}$ , incidentally, form the point cloud displayed in the last figure of that post.

Finally, the analysis presented here generalizes in obvious ways to the cases $p\ne 2$ : that is, when there are just one or more than two principal components.

— whuber
источник

Though your answer may be exemplary on it own it is unclear - to me - how it relates to the question. You are speaking throughout about the data cloud X (and vectors you rotate are data points, rows of X). But the question was about the reduced subject space. In other words, we don't have any data X, we have only 2x2 covariance or scatter matrix X'X.

— ttnphns

(cont.) We represent the 2 variables summarized by it as 2 vectors with lengths = sqrt(diagonal elements) and angle = their correlation. Then the OP askes how can we purely geometrically solve for the principal components. In other words, OP wants to explain geometrically eigendecomposition (eigenvalues & eigenvectors or, better, loadings) of 2x2 symmetric covariance matrix.

— ttnphns

(cont.) Please look on the second picture there. What the OP of the current question seeks for is to find geometric (trigonometric etc) tools or tricks to draw the vectors P1 and P2 on that pic, having only vectors X and Y as given.

— ttnphns

@ttnphns. It doesn't matter what the starting point is: the first half of this answer shows that you can reduce any point cloud

X

$\mathbf{X}$ to a pair of points which contain all the information about $\mathbf{X^\prime X}$ . The second half demonstrates that pair of points is not unique, but nevertheless each lies on the same ellipse. It gives an explicit construction of that ellipse beginning with any two-point representation of

X^{'} X

$\mathbf{X^\prime X}$ (such as the pair of blue vectors shown in the question). Its major and minor axes yield the PCA solution (the red vectors).

— whuber

Thanks, I'm beginning to understand your thought. (I wish you added subtitles / synopsis right in your answer about the two "halves" of it, just to structure it for a reader.)

— ttnphns