Нужно ли удалять высококоррелированные переменные перед PCA?

Я читаю статью, где автор отказывается от нескольких переменных из-за высокой корреляции с другими переменными, прежде чем делать PCA. Общее количество переменных составляет около 20.

Это дает какие-то преимущества? Мне это кажется непосильным, так как PCA должен справиться с этим автоматически.

Это объясняется полезной подсказкой, предоставленной в комментарии @ttnphns.

Смешение почти коррелированных переменных увеличивает вклад их общего базового фактора в PCA. Мы можем видеть это геометрически. Рассмотрим эти данные в плоскости XY, представленной в виде облака точек:

Существует небольшая корреляция, приблизительно одинаковая ковариация, и данные центрированы: PCA (независимо от того, как проводится) сообщит о двух приблизительно равных компонентах.

Давайте теперь добавим третью переменную равную плюс небольшое количество случайных ошибок. Корреляционная матрица показывает это с небольшими недиагональными коэффициентами, за исключением между вторыми и третьими строками и столбцами ( и ):Y ( X , Y , Z ) Y $Z$$Y$$(X,Y,Z)$$Y$$Z$

Геометрически мы сместили все исходные точки почти вертикально, подняв предыдущее изображение прямо из плоскости страницы. Это псевдо-трехмерное облако точек пытается проиллюстрировать подъем с помощью вида сбоку в перспективе (на основе другого набора данных, хотя и сгенерированного так же, как и раньше):

Точки изначально лежат в синей плоскости и поднимаются до красных точек. Исходная ось указывает на право. В результате наклона также растягивает точки вдоль направлений YZ, тем самым удвоив свой вклад в дисперсию. Следовательно, СПС этих новых данных будет по-прежнему идентифицировать два основных главных компонента, но теперь один из них будет иметь двойную дисперсию другого.$Y$

Это геометрическое ожидание подтверждается некоторыми моделями в R. Для этого я повторил процедуру «подъема», создав почти коллинеарные копии второй переменной во второй, третий, четвертый и пятый раз, назвав их от до . Вот матрица рассеяния, показывающая, как эти последние четыре переменные хорошо коррелируют:X $X_2$$X_5$

PCA выполняется с использованием корреляций (хотя для этих данных это не имеет значения), с использованием первых двух переменных, затем трех, ... и, наконец, пяти. Я показываю результаты, используя графики вклада основных компонентов в общую дисперсию.

Первоначально, с двумя почти некоррелированными переменными, вклады почти равны (верхний левый угол). После добавления одной переменной, соотнесенной со второй - точно так же, как на геометрической иллюстрации, - все еще остается только два основных компонента, один теперь в два раза больше другого. (Третий компонент отражает отсутствие идеальной корреляции; он измеряет «толщину» облака на трехмерной диаграмме рассеяния.) После добавления другой коррелированной переменной ( ) первый компонент теперь составляет около трех четвертей от общего числа. ; после добавления пятой части первый компонент составляет почти четыре пятых от общего числа. Во всех четырех случаях компоненты после второго, вероятно, будут считаться несущественными для большинства диагностических процедур PCA; в последнем случае это$X_4$один главный компонент стоит рассмотреть.

Теперь мы можем видеть, что может быть полезно отбросить переменные, которые, как считается, измеряют один и тот же базовый (но «скрытый») аспект набора переменных , потому что включение почти избыточных переменных может привести к тому, что СПС переоценит их вклад. В такой процедуре нет ничего математически правильного (или неправильного); это суждение, основанное на аналитических целях и знаниях данных. Но должно быть совершенно ясно, что откладывание переменных, о которых известно, что они сильно коррелируют с другими, может оказать существенное влияние на результаты PCA.

Вот Rкод

n.cases <- 240               # Number of points.
n.vars <- 4                  # Number of mutually correlated variables.
set.seed(26)                 # Make these results reproducible.
eps <- rnorm(n.vars, 0, 1/4) # Make "1/4" smaller to *increase* the correlations.
x <- matrix(rnorm(n.cases * (n.vars+2)), nrow=n.cases)
beta <- rbind(c(1,rep(0, n.vars)), c(0,rep(1, n.vars)), cbind(rep(0,n.vars), diag(eps)))
y <- x%*%beta                # The variables.
cor(y)                       # Verify their correlations are as intended.
plot(data.frame(y))          # Show the scatterplot matrix.

# Perform PCA on the first 2, 3, 4, ..., n.vars+1 variables.
p <- lapply(2:dim(beta)[2], function(k) prcomp(y[, 1:k], scale=TRUE))

# Print summaries and display plots.
tmp <- lapply(p, summary)
par(mfrow=c(2,2))
tmp <- lapply(p, plot)

Далее я проиллюстрирую тот же процесс и идею, что и @whuber, но с графиками загрузки, потому что загрузки являются основой результатов PCA.

$X_1$$X_2$$X_3$$X_2$$X_4$$X_5$

Затем идут графики загрузок первых 2 главных компонентов. Красные пики на графиках говорят о корреляциях между переменными, так что группа из нескольких пиков - это то место, где находится кластер тесно коррелированных переменных. Компоненты - серые линии; Относительная «прочность» компонента (его относительная величина собственного значения) определяется весом линии.

Можно наблюдать два эффекта добавления «копий»:

1. Компонент 1 становится все сильнее и сильнее, а Компонент 2 все слабее и слабее.
2. $X_1$$X_2$$X_3$$X_2$

Я не буду возобновлять мораль, потому что @whuber уже сделал это.

$r=0$$r=0.62$$r=0.77$

$X_1$$X_2$$r=0$ $X_1$$X_2$Сами линии могут быть выбраны в качестве компонентов.] Координаты точек данных (200 объектов) на компоненте являются баллами компонента, а их сумма квадратов, разделенная на 200-1, является собственным значением компонента .

$r$$X_1$$X_2$(но добавление третьей переменной может отклонить ее в любом случае). Угол (косинус) между переменным вектором и линией компонентов является корреляцией между ними, и поскольку векторы имеют единичную длину, а компоненты ортогональны, это не что иное, как координаты, загрузка . Сумма квадратов нагрузок на компонент является его собственным значением (компонент просто ориентируется в этом предметном пространстве, чтобы максимизировать его)

Addition2. Кроме того, я говорил о «переменном пространстве» и «предметном пространстве», как будто они несовместимы друг с другом, как вода и масло. Мне пришлось пересмотреть это и, возможно, сказать, что - по крайней мере, когда мы говорим о PCA - оба конца в конце изоморфны, и благодаря этому мы можем правильно отобразить все детали PCA - точки данных, переменные оси, оси компонентов, переменные как баллов, - на одном неискаженном биплоте.

Ниже приведены диаграмма рассеяния (переменное пространство) и диаграмма загрузки (пространство компонентов, которое по своему генетическому происхождению является предметным пространством). Все, что можно было показать на одном, можно было бы показать и на другом. Изображения идентичны , повернуты только на 45 градусов (и отражены, в данном конкретном случае) относительно друг друга. Это был PCA переменных v1 и v2 (стандартизированный, таким образом, именно r был проанализирован). Черные линии на картинках - это переменные в виде осей; зеленые / желтые линии являются компонентами в виде осей; синие точки - облако данных (субъекты); красные точки - это переменные, отображаемые в виде точек (векторов).

Без подробностей из вашей статьи я бы предположил, что это отбрасывание высококоррелированных переменных было сделано просто для того, чтобы сэкономить на вычислительной мощности или рабочей нагрузке. Я не вижу причин, почему PCA «сломался» для высококоррелированных переменных. Проецирование данных обратно на базы, найденные PCA, имеет эффект отбеливания данных (или отмены их корреляции). В этом весь смысл PCA.

Из моего понимания коррелированные переменные в порядке, потому что PCA выводит векторы, которые являются ортогональными.

Ну, это зависит от вашего алгоритма. Высоко коррелированные переменные могут означать плохо обусловленную матрицу. Если вы используете алгоритм, который чувствителен к этому, это может иметь смысл. Но я осмелюсь сказать, что большинство современных алгоритмов, используемых для определения собственных значений и собственных векторов, устойчивы к этому. Попробуйте удалить сильно коррелированные переменные. Значительно ли меняются собственные значения и собственный вектор? Если они это сделают, то плохая обусловленность может быть ответом. Поскольку сильно коррелированные переменные не добавляют информацию, декомпозиция PCA не должна меняться

Зависит от того, какой метод выбора компонентов вы используете, не так ли?

Я склонен использовать любой принципиальный компонент с собственным значением> 1. Так что это не повлияет на меня.

А из приведенных выше примеров даже метод создания осыпи обычно выбирает правильный. ЕСЛИ ВЫ СОХРАНИТЕ ВСЕ ДО ПОТЕРЯ. Однако, если вы просто выбрали основной компонент с «доминирующим» собственным значением, вы бы сбились с пути. Но это не правильный способ использования сюжета!