Как «Фундаментальная теорема факторного анализа» применяется к PCA или как определяются нагрузки PCA?

В настоящее время я изучаю набор слайдов для «факторного анализа» (насколько я могу судить по PCA).

В ней выводится «фундаментальная теорема факторного анализа», которая утверждает, что корреляционная матрица данных, поступающих в анализ ( ), может быть восстановлена с использованием матрицы факторных нагрузок ( ): $\bf R$ $\bf A$

R = A A^{⊤}

$\bf R = AA^\top$

Это, однако, смущает меня. В PCA матрица «факторных нагрузок» задается матрицей собственных векторов ковариационной / корреляционной матрицы данных (поскольку мы предполагаем, что данные были стандартизированы, они одинаковы), причем каждый собственный вектор масштабируется так, чтобы иметь длина одна. Эта матрица является ортогональной, что , который в общем случае не равны с . $\bf AA^\top = I$ $\bf R$

— user2249626
источник

В дополнение к ответу @ amoeba, посмотрите в моем ответе адресную терминологическую неоднозначность. Я не рекомендую называть матрицу собственных векторов A(которые являются нагрузками) для ясности. Матрица собственного вектора (справа) обычно помечена V(потому что R=USV'svd), а не A. Другое эквивалентное имя (исходя из терминологии биплота) для собственных векторов - «стандартные координаты», а для нагрузок - «главные координаты».

— ttnphns

(«Стандартные координаты» - потому что инерция, или масштаб собственных значений, представляет собой единичную величину при наделении их; «Главные координаты» - потому что это оригинальная полная величина при наделении их.)

— ttnphns

Это разумный вопрос (+1), который вытекает из терминологической неопределенности и путаницы.

В контексте PCA люди часто называют главные оси (собственные векторы ковариационной / корреляционной матрицы) «нагрузками». Это небрежная терминология. То, что следует скорее называть «нагрузками» в PCA, являются главными осями, масштабируемыми квадратными корнями соответствующих собственных значений. Тогда теорема, на которую вы ссылаетесь, будет верна.

R = V S V^{⊤}

$\mathbf R = \mathbf V \mathbf S \mathbf V^\top$

V

$\mathbf V$

S

$\mathbf S$

A = V S^{1 / 2},

$\mathbf A = \mathbf V \mathbf S^{1/2},$

R = A A^{⊤} .

$\mathbf R = \mathbf A \mathbf A^\top.$

r

$r$

r

$r$

R \approx A_{r} A_{р}^{⊤},

$\mathbf R \approx \mathbf A_r \mathbf A_r^\top.$

Пожалуйста, смотрите мой ответ здесь для получения дополнительной информации о восстановлении ковариационных матриц с помощью факторного анализа и загрузок PCA.

— амеба говорит восстановить монику
источник