Что такое «повернутые» и «не повернутые» главные компоненты, учитывая, что PCA всегда вращает оси координат?

Насколько я понимаю, главные компоненты получаются вращением осей координат, чтобы выровнять их по направлениям максимальной дисперсии.

Тем не менее, я продолжаю читать о «непроверенных главных компонентах», и мое программное обеспечение для статистики (SAS) дает мне не только повернутые, но и основные компоненты, повернутые с помощью варимакса. Здесь я запутался: когда мы вычисляем основные компоненты, оси уже повернуты; так зачем нужен еще один поворот? И что означает «непроверенный главный компонент»?

Это будет нетехнический ответ.

Вы правы: PCA - это, по сути, поворот координатных осей, выбранный таким образом, чтобы каждая успешная ось захватила как можно больше отклонений.

В некоторых дисциплинах (таких как, например, психология) людям нравится применять PCA для интерпретации полученных осей. Т.е. они хотят иметь возможность сказать, что главная ось № 1 (которая представляет собой определенную линейную комбинацию исходных переменных) имеет какое-то конкретное значение. Чтобы угадать это значение, они будут смотреть на веса в линейной комбинации. Тем не менее, эти веса часто бывают беспорядочными, и никакого ясного смысла не видно.

В этих случаях люди иногда предпочитают немного повозиться с решением vanilla PCA. Они берут определенное количество главных осей (которые считаются «значимыми» по некоторому критерию) и дополнительно вращают их, пытаясь достичь некоторой «простой структуры», то есть линейных комбинаций, которые было бы легче интерпретировать. Существуют конкретные алгоритмы, которые ищут простейшую возможную структуру; один из них называется варимакс. После вращения варимакса последовательные компоненты больше не фиксируют столько отклонений, сколько возможно! Эта функция PCA нарушается при выполнении дополнительного вращения Varimax (или любого другого).

Таким образом, перед применением вращения Varimax у вас есть «не повернутые» главные компоненты. И после этого вы получаете «повернутые» основные компоненты. Другими словами, эта терминология относится к последующей обработке результатов PCA, а не к самой ротации PCA.

Все это несколько усложняется тем фактом, что вращаемыми являются нагрузки, а не главные оси как таковые. Тем не менее, для математических деталей я отсылаю вас (и любого заинтересованного читателя) к моему длинному ответу здесь: Является ли PCA с последующим вращением (таким как varimax) все еще PCA?