Является ли ядро PCA с линейным ядром эквивалентным стандартному PCA?

Если в ядре PCA я выберу линейное ядро , будет ли результат отличаться от обычного линейного PCA ? Решения принципиально отличаются или существует какое-то четко определенное отношение? $K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$

pca kernel-trick

— tgoossens
источник

Резюме: ядро PCA с линейным ядром в точности эквивалентно стандартному PCA.

Пусть будет центрированной матрицей данных размера с переменными в столбцах и точками данных в строках. Тогда ковариационная матрица задается как , ее собственные векторы являются главными осями, а собственные значения являются дисперсиями ПК. В то же время, можно рассматривать так называемую матрицу Грама из размер. Легко видеть, что он имеет одинаковые собственные значения (т.е. дисперсии ПК) вплоть до $\mathbf{X}$ $N \times D$ $D$ $N$ $D \times D$ $\mathbf{X}^\top\mathbf{X}/(n-1)$ $\mathbf{X}\mathbf{X}^\top$ $N \times N$ $n-1$ фактор, и его собственные векторы являются главными компонентами, масштабированными до единичной нормы.

Это был стандартный PCA. Теперь в ядре PCA мы рассматриваем некоторую функцию которая отображает каждую точку данных в другое векторное пространство, которое обычно имеет большую размерность , возможно, даже бесконечную. Идея ядра PCA состоит в том, чтобы выполнить стандартную PCA в этом новом пространстве. $\phi(x)$ $D_\mathrm{new}$

Поскольку размерность этого нового пространства очень велика (или бесконечна), трудно или невозможно вычислить ковариационную матрицу. Однако мы можем применить второй подход к PCA, описанному выше. Действительно, матрица Грама будет по-прежнему иметь такой же управляемый размер Элементы этой матрицы задаются как $N \times N$ , которое мы будем называть функцией ядра $\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ $K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ , Это то, что известно как уловка ядра : на самом деле не нужно вычислять , а только . Собственные векторы этой матрицы Грама будут главными компонентами в целевом пространстве, которые нас интересуют. $\phi()$ $K()$

Ответ на ваш вопрос теперь становится очевидным. Если , то матрица Грама ядра сводится к который равен стандартной матрице Грама, и, следовательно, главные компоненты не изменятся. $K(x,y)=\mathbf{x}^\top \mathbf{y}$ $\mathbf{X} \mathbf{X}^\top$

Очень удобочитаемая ссылка - Scholkopf B, Smola A и Müller KR, Анализ основных компонентов ядра, 1999 , и обратите внимание, что, например, на рисунке 1 они явно ссылаются на стандартный PCA как на тот, который использует точечный продукт в качестве функции ядра:

ядро PCA

— амеба говорит восстановить монику
источник

Откуда были эти картинки в вашем ответе? Из какой-то книги?

— Буратино

@Pinocchio, эта цифра взята из Scholkopf et al. бумага, на которую ссылаются и ссылаются в моем ответе.

— говорит амеба: восстанови Монику

«Легко видеть, что он имеет те же собственные значения (то есть дисперсии ПК) вплоть до n − 1 фактора » - не означает ли это, что они не полностью эквивалентны тогда? Допустим, у меня есть матрица с n = 10 выборок, d = 200 измерений. В стандартном PCA я мог бы проецировать данные в 199 измерений, если бы захотел, но в ядре PCA с линейным ядром я могу только до 10 измерений.

— Цезарь

@Cesar, нет, если у вас n = 10 выборок, то ковариационная матрица будет иметь ранг 10-1 = 9, а стандартный PCA найдет только 9 измерений (как и PCA ядра). Смотрите здесь: stats.stackexchange.com/questions/123318 .

— говорит амеба, восстанови Монику

Я получаю файл, не найденный для справочной ссылки Scholkopf B, Smola A и Müller KR.

— pbible

$X$ $N \times D$ $D$ $N$ $X = U \Sigma V^\top$ $U$ $X$ $XX^\top = U \Sigma^2 U^\top$ имеет одинаковые левые сингулярные векторы и, следовательно, одинаковые главные компоненты.

— Марта Уайт
источник

Что касается стандартного PCA, я думал, что мы заботимся о SVD ковариационной матрицы, так что не очень понимаете, как относится SVD к X, не могли бы вы расширить?

— m0s

@ m0s Для PCA мы заботимся о собственном разложении ковариационной матрицы, которое мы обычно выполняем с помощью SVD (центрированной) матрицы данных.

— MrDrFenner

Мне кажется, что KPCA с линейным ядром должен быть таким же, как и простой PCA.

Ковариационная матрица, из которой вы собираетесь получить собственные значения, одинакова:

l i n e a r K P C A_{m a t r i x} = \frac{1}{l} \sum_{j = 1}^{l} K (x_{j}, x_{j}) = \frac{1}{l} \sum_{j = 1}^{l} x_{j} x_{j}^{T} = P C A_{m a t r i x}

$linearKPCA_{matrix} = \frac{1}{l} \sum_{j=1}^{l}K(x_{j},x_{j}) = \frac{1}{l} \sum_{j=1}^{l}x_{j}x_{j}^T = PCA_{matrix}$

Вы можете проверить с более подробной информацией здесь .

— Jundiaius
источник

Ваш ответ верен по духу, но формула выглядит запутанной. KPCA работает с матрицей Грама

K (x_{i}, x_{j})

$K(x_i, x_j)$ не с ковариационной матрицей (для многих нелинейных ядер фактически невозможно вычислить ковариационную матрицу, поскольку целевое пространство имеет бесконечномерную размерность). Смотрите страницу 2 статьи, которую вы цитируете.

— говорит амеба, восстанови Монику

Является ли ядро ​​PCA с линейным ядром эквивалентным стандартному PCA?

Является ли ядро PCA с линейным ядром эквивалентным стандартному PCA?