PCA по корреляции или ковариации: имеет ли смысл PCA по корреляции когда-либо? [закрыто]

В анализе главных компонентов (PCA) можно выбрать либо ковариационную матрицу, либо матрицу корреляции, чтобы найти компоненты (из их соответствующих собственных векторов). Они дают разные результаты (загрузки ПК и оценки), потому что собственные векторы между обеими матрицами не равны. Насколько я понимаю, это связано с тем, что вектор необработанных данных и его стандартизация Z не могут быть связаны посредством ортогонального преобразования. Математически подобные матрицы (то есть связанные ортогональным преобразованием) имеют одинаковые собственные значения, но не обязательно одинаковые собственные векторы.$X$$Z$

Это вызывает некоторые трудности в моей голове:

1. Имеет ли смысл PCA, если вы можете получить два разных ответа для одного и того же набора исходных данных, оба пытаясь достичь одного и того же (= найти направления максимальной дисперсии)?

2. При использовании подхода с корреляционной матрицей каждая переменная стандартизируется (масштабируется) по собственному индивидуальному стандартному отклонению перед вычислением ПК. Как же тогда все-таки имеет смысл находить направления максимальной дисперсии, если данные уже были предварительно по-разному масштабированы / сжаты? Я знаю, что PCA, основанный на корреляции, очень удобен (стандартизированные переменные являются безразмерными, поэтому их линейные комбинации могут быть добавлены; другие преимущества также основаны на прагматизме), но верно ли это?

Мне кажется, что PCA на основе ковариации является единственным действительно правильным (даже когда дисперсии переменных сильно различаются), и что всякий раз, когда эту версию нельзя использовать, PCA на основе корреляции также не следует использовать.

Я знаю, что есть эта тема: PCA на корреляции или ковариации? - но, похоже, он сосредоточен только на поиске прагматического решения, которое может быть, а может и не быть алгебраически правильным.

Я надеюсь, что эти ответы на ваши два вопроса успокоят ваше беспокойство:

1. Корреляционная матрица - это ковариационная матрица стандартизированных (то есть не только центрированных, но и перемасштабированных) данных; то есть ковариационная матрица (как будто) другого , другого набора данных. Так что это естественно, и вас не должно беспокоить, что результаты отличаются.
2. Да, имеет смысл найти направления максимальной дисперсии со стандартизованными данными - они являются направлениями, так сказать, «корреляции», а не «ковариации»; то есть после того, как влияние неравномерных отклонений - исходных переменных - на форму многомерного облака данных было снято.

Следующий текст и фотографии добавлены @whuber (благодарю его. Также смотрите мой комментарий ниже)

Вот двумерный пример, показывающий, почему все еще имеет смысл определять главные оси стандартизированных данных (показано справа). Обратите внимание, что на правом графике облако все еще имеет «форму», даже несмотря на то, что отклонения вдоль осей координат теперь точно равны (до 1,0). Точно так же в более высоких измерениях стандартизированное облако точек будет иметь несферическую форму, даже если отклонения по всем осям точно равны (до 1,0). Главные оси (с соответствующими значениями) описывают эту форму. Другой способ понять это - заметить, что все масштабирование и смещение, которые происходят при стандартизации переменных, происходят только в направлениях осей координат, а не в самих основных направлениях.

То, что здесь происходит, геометрически настолько интуитивно и ясно, что было бы сложно охарактеризовать это как «операцию черного ящика»: напротив, стандартизация и PCA - это одни из самых простых и рутинных вещей, которые мы делаем с данными в порядке чтобы понять их.

Продолжение @ttnphns

Когда бы вы предпочли сделать PCA (или факторный анализ или другой подобный тип анализа) на корреляциях (то есть на z-стандартизированных переменных) вместо того, чтобы делать это на ковариациях (то есть на центрированных переменных)?

1. Когда переменными являются разные единицы измерения. Это понятно
2. Когда кто-то хочет, чтобы анализ отражал справедливые и только линейные ассоциации. Пирсон r - это не только ковариация между непересекающимися (дисперсия = 1) переменными; это внезапно мера силы линейных отношений, тогда как обычный коэффициент ковариации восприимчив как к линейным, так и к монотонным отношениям.
3. Когда кто-то хочет, чтобы ассоциации отражали относительную совместимость (от среднего значения), а не грубую совместность. Корреляция основана на распределениях, их разбросах, в то время как ковариация основана на исходной шкале измерений. Если бы я проанализировал психопатологические профили пациентов в том виде, в каком они были собраны психиатрами в некоторых клинических анкетах, состоящих из элементов типа Лайкерта, я бы предпочел ковариации. Потому что профессионалы не должны искажать шкалу оценок внутрипсихически. С другой стороны, если бы я проанализировал автопортреты пациентов с помощью той же анкеты, я бы, вероятно, выбрал корреляции. Поскольку оценка непрофессионала, как ожидается, будет относительной «другие люди», «большинство» «допустимое отклонение» лупа, которая «сжимает» или «растягивает» рейтинговую шкалу на единицу.

Если говорить с практической точки зрения - возможно, непопулярной здесь - если у вас есть данные, измеренные в разных масштабах, то используйте корреляцию («УФ-масштабирование», если вы хемометрик), но если переменные находятся в одном масштабе, и размер их имеет значение (например, со спектроскопическими данными), тогда ковариация (центрирование только данных) имеет больше смысла. PCA - это метод, зависящий от масштаба, а также преобразование журналов может помочь с сильно искаженными данными.

По моему скромному мнению, основываясь на 20-летнем практическом применении хемометрики, вам нужно немного поэкспериментировать и посмотреть, что лучше всего подходит для вашего типа данных. В конце дня вы должны быть в состоянии воспроизвести ваши результаты и попытаться доказать предсказуемость ваших выводов. То, как вы туда попадаете, часто бывает методом проб и ошибок, но важно то, что вы делаете, документированы и воспроизводимы.

$x_i$$s^2$$(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$$x_1+x_2$$s_1\not =s_2$градусов. Кажется, что нет смысла максимизировать дисперсию их линейной комбинации. В этом случае PCA предлагает решение для другого набора данных, в соответствии с которым каждая переменная масштабируется по-разному. Если после этого вы нестандартно (при использовании corr_PCA), тогда это может быть нормально и необходимо; но если вы просто примете исходное решение corr_PCA как есть и остановитесь на нем, вы получите математическое решение, но не связанное с физическими данными. Поскольку нестандартность впоследствии кажется обязательной как минимум (т. Е. «Растягивание» осей обратными стандартными отклонениями), cov_PCA можно было бы использовать для начала. Если вы все еще читаете сейчас, я впечатлен! А пока я заканчиваю цитатой из книги Джоллиффа, с. 42, которая является частью, которая касается меня:«Однако не следует забывать, что ПК с корреляционной матрицей, если их повторно выражать в терминах исходных переменных, все еще являются линейными функциями от x, которые максимизируют дисперсию относительно стандартизированных переменных, а не относительно исходных переменных». Если вы считаете, что я неверно истолковываю это или его значение, этот отрывок может стать хорошей отправной точкой для дальнейшего обсуждения.