Что именно называется «основным компонентом» в PCA?

Предположим есть вектор , который максимизирует дисперсию проекции данных с конструкцией матрицы .$u$$X$

Теперь я видел материалы , которые относятся в качестве (первого) основного компонента данных, который также является собственным вектором с наибольшим собственным значением.$u$

Однако я также видел, что основным компонентом данных является .$X u$

Очевидно, и разные вещи. Может ли кто-нибудь помочь мне здесь и сказать мне, в чем разница между этими двумя определениями основных компонентов?$u$$Xu$

Вы абсолютно правы, наблюдая, что хотя (один из собственных векторов ковариационной матрицы, например, первый) и X u (проекция данных на 1-мерное подпространство, натянутое на $\mathbf{u}$$\mathbf{X}\mathbf{u}$$\mathbf{u}$ ) - это две разные вещи, оба из их часто называют «основным компонентом», иногда даже в одном и том же тексте.

В большинстве случаев из контекста ясно, что именно имеется в виду. В некоторых редких случаях, однако, это действительно может быть довольно запутанным, например , когда некоторые связанные с ними методы (такие как разреженный PCA или ОСО) обсуждаются, где разные направления $\mathbf{u}_i$ не должны быть ортогональны. В этом случае утверждение типа «компоненты ортогональны» имеет очень разные значения в зависимости от того, относится ли оно к осям или проекциям.

Я бы выступать называя «Принципал ось» или «основным направлением», а X $\mathbf{u}$$\mathbf{X}\mathbf{u}$ А «основной компонент».

Я также видел $\mathbf u$ называете «главный компонент вектора».

Я должен упомянуть, что альтернативное соглашение состоит в том, чтобы называть «основным компонентом», а X u «оценками основного компонента».$\mathbf u$$\mathbf{Xu}$

Краткое изложение двух конвенций:

$$\begin{array}{c|c|c} & \text{Convention 1} & \text{Convention 2} \\ \hline \mathbf u & \begin{cases}\text{principal axis}\\ \text{principal direction}\\ \text{principal component vector}\end{cases} & \text{principal component} \\ \mathbf{Xu} & \text{principal component} & \text{principal component scores} \end{array}$$

---

Примечание: только собственные векторы ковариационной матрицы, соответствующие ненулевым собственным значениям, могут называться главными направлениями / компонентами. Если ковариационная матрица имеет низкий ранг, она будет иметь одно или несколько нулевых собственных значений; соответствующие собственные векторы (и соответствующие проекции с постоянным нулем) не следует называть главными направлениями / компонентами. Смотрите обсуждение в моем ответе здесь.