PCA все еще делается через собственное разложение ковариационной матрицы, когда размерность больше, чем число наблюдений?

У меня есть матрица , содержащая мои выборок в мерном пространстве. Теперь я хочу написать свой собственный анализ основных компонентов (PCA) в Matlab. Сначала я унижаю до . $20\times100$ $X$ $N=20$ $D=100$ $X$ $X_0$

Я читал из чьего-то кода, что в таких сценариях, где у нас больше измерений, чем наблюдений, мы больше не разлагаем собственные ковариационные матрицы . Вместо этого мы разлагаем собственные $X_0$ . Почему это правильно? $\frac{1}{N-1}X_0X_0^T$

Нормальная ковариационная матрица имеет размер , каждый элемент которой сообщает нам ковариацию между двумя измерениями. Мне $D\times D$ даже не правильных размеров! Этоматрица, что бы она нам сказала? Ковариация между двумя наблюдениями ?! $\frac{1}{N-1}X_0X_0^T$ $N\times N$

pca

— Sibbs Gambling
источник

Ответ на ваш вопрос заключается в том обстоятельстве, что, как следует из постановки вашей задачи, вам не нужна ковариационная матрица столбцов для себя. Вы только хотели это как путь для получения ПК. Правильно? Но те же самые результаты PCA могут быть получены с помощью собственных X'Xи XX'(а также SVD Xи X'). То, что называется «нагрузками» в одном случае, будет называться «показателями ПК» в другом и наоборот. Поскольку оба являются просто координатами ( см., Например ) и осями, «основные размеры» одинаковы.

— ttnphns

(продолжение) Если это так, и вы можете выбирать, что разлагать, - разумно разложить то, что нужно делать быстрее / эффективнее. Когда n<pтребуется меньше ОЗУ и меньше времени для разложения, XX'поскольку он имеет меньший размер.

— ttnphns

@ttnphns Отличное объяснение. Теперь я вижу смысл. Тем не менее, у меня все еще есть проблемы с переходом от собственного XX'компьютера к компьютеру. Не могли бы вы очень кратко показать мне, как? Учитывая, что ПК являются просто собственными векторами ковариационной матрицы, я попытался перейти от собственного XX'к собственному ковариационной матрицы X'X, но потерпел неудачу.

— Sibbs Gambling

Мне надо идти. Возможно, @amoeba (который гораздо более ловкий в алгебре, чем я) или другой читатель скоро заглянет сюда и поможет вам. Приветствия.

— ttnphns

@ttnphns: Готово :)

— amoeba

Ковариационная матрица имеет размер и задается как $D\times D$

С знак равно \frac{1}{N - 1} {Икс}_{0}^{⊤} {Икс}_{0}^{},

$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$

Матрица, о которой вы говорите, - это, конечно, не ковариационная матрица; она называется матрицей Грама и имеет размер : $N\times N$

г знак равно \frac{1}{N - 1} {Икс}_{0}^{} {Икс}_{0}^{⊤},

$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$

Анализ главных компонентов (PCA) может быть реализован посредством собственного разложения любой из этих матриц. Это просто два разных способа вычислить одно и то же.

Самый простой и полезный способ убедиться в этом - использовать разложение по сингулярным числам матрицы данных . Подставив это в выражения для и , мы получим: $\mathbf X = \mathbf {USV}^\top$ $\mathbf C$ $\mathbf G$

\begin{aligned} С & знак равно В \frac{S^{2}}{N - 1} В^{⊤} \\ г & знак равно U \frac{S^{2}}{N - 1} U^{⊤}, \end{aligned}

$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$

Собственные векторы ковариационной матрицы являются главными направлениями. Проекции данных на эти собственные векторы являются основными компонентами; эти проекции задаются . Основные компоненты, масштабированные до длины единицы, определяются как $\mathbf V$ $\mathbf {US}$ . Как видите, собственные векторы матрицы Грама являются именно этими масштабированными главными компонентами. И собственные значения и совпадают. $\mathbf U$ $\mathbf C$ $\mathbf G$

$N<D$ $D$ $D$ $N<D$

$\frac{1}{N}XX^\top$ $\frac{1}{N}X^\top X$

— амеба
источник

Отличный ответ! Я не знал, что у него есть имя! Большое спасибо! Теперь я уверен, что использую его для ускорения вычислений.

— Sibbs Gambling

U

$U$

S / (n - 1)

$S/(n-1)$

V

$V$

U^{⊤} X

$U^\top X$

U

$U$

Этот ответ яснее, что много экспозиций я видел в книгах. Спасибо.

— usεr11852

Для чисто справочных целей: Я думаю, что статья 1969 г. по Технике IJ Good « Некоторые приложения сингулярного разложения матрицы » - одна из первых, которая полностью ссылается на это.

— usεr11852

@MattWenham Точно.

— амеба