Линейность PCA

35

PCA считается линейной процедурой, однако:

P C A (X) \neq P C A (X_{1}) + P C A (X_{2}) + \dots + P C A (X_{n}),

$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$

где . Это означает, что собственные векторы, полученные PCA на матрицах данных , не суммируют до равных собственных векторов, полученных PCA, на сумму матриц данных . Но не является ли определение линейной функции что: $X=X_1+X_2+\ldots+X_n$ $X_i$ $X_i$ $f$

f (x + y) = f (x) + f (y) ?

$f(x+y)=f(x)+f(y)?$

Так почему же PCA считается «линейным», если оно не удовлетворяет этому основному условию линейности?

pca linear

— Альфа Омега
источник

Однажды я написал или услышал (извините, я не могу вспомнить, где и когда), что PCA «принадлежит семейству линейных процедур», потому что он опирается на линейные зависимости между переменными. Он использует корреляционную матрицу Пирсона и ищет линейные комбинации наибольшей дисперсии.

— Лукаш Дерило

4

Природа этого вопроса могла бы стать немного яснее, если рассмотреть более простую и рутинную установку обычной регрессии наименьших квадратов: это архетип линейной статистической процедуры. Тем не менее, процесс оценки коэффициентов наименьших квадратов является явно нелинейной функцией матрицы данных , что подтверждается формулой . (Обратите внимание, что это линейная функция вектора отклика .)

X

$X$

\hat{β} = (X^{'} X)^{- 1} X^{'} y

$\hat\beta = (X^\prime X)^{-1}X^\prime y$

y

$y$

— whuber

4

Возможно, стоит помнить, что f (x) = x + 1 тоже «линейная функция» ... но она не удовлетворяет тому, что вы только что сказали ... что должно что-то объяснять.

— Мердад

Это потому, что

(X_{1} + X_{2})^{T} (X_{1} + X_{2}) \neq X_{1}^{T} X_{1} + X_{2}^{T} X_{2}

$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— Габриэль Ромон

39

Когда мы говорим, что PCA - линейный метод, мы имеем в виду отображение, уменьшающее размерность из многомерного пространства в низкоразмерное пространство $f:\mathbf x\mapsto \mathbf z$ $\mathbb R^p$ . В PCA это отображение задается умножением на матрицу собственных векторов PCA и поэтому является явно линейным (умножение матрицы является линейным):Это отличается отнелинейных методов уменьшения размерности, где отображение, уменьшающее размерность, может быть нелинейным. $\mathbb R^k$ $\mathbf x$

z = f (x) = V^{⊤} x .

$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$

С другой стороны, верхних собственных векторов вычисляются из матрицы данных использованием того, что вы назвали в вашем вопросе: и это отображение, безусловно, нелинейное: оно включает вычисление собственных векторов ковариационной матрицы, что является нелинейной процедурой. (В качестве тривиального примера, умножение на $k$ $\mathbf V\in \mathbb R^{p\times k}$ $\mathbf X\in \mathbb R^{n\times p}$ $\mathrm{PCA}()$

V = P C A (X),

$\mathbf V = \mathrm{PCA}(\mathbf X),$

X

$\mathbf X$

2

$2$ увеличивает ковариационную матрицу на

, но ее собственные векторы остаются такими же, как они нормализованы, чтобы иметь единичную длину.)

4

$4$

— амеба говорит восстановить монику
источник

То, что я получил 35 голосов за этот тривиальный ответ, довольно смешно (и в основном из-за того, что эта тема некоторое время была в разделе «Горячие сетевые вопросы»).

— амеба говорит восстановить Монику

5

«Линейный» может означать много вещей и не используется исключительно формально.

PCA не часто определяется как функция в формальном смысле, и поэтому не ожидается, что она будет отвечать требованиям линейной функции, если она описана как таковая. Как вы сказали, это чаще описывается как процедура, а иногда и алгоритм (хотя мне не нравится этот последний вариант). Часто говорят, что это неформальный, линейный, нечеткий способ.

$X_i$

X_{i} \approx f_{Y} (α)

$X_i \approx f_Y(\alpha)$

α \in R^{k}

$\alpha \in \mathbb{R}^k$

Y

$Y$

k

$k$

Y

$Y$

$f_i$

f_{Y} (α) = \sum_{i = 1}^{k} α_{i} Y_{i}

$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$

Y

$Y$

$Y$ $\alpha_{ij}$

— broncoAbierto
источник

3

PCA обеспечивает / является линейным преобразованием.

$\mathbf{M} \equiv PCA(X_1 + X_2)$ $\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

$PCA(X_1 + X_2)$ $PCA(X_1)$ $PCA(X_2)$

Для сравнения очень простой пример процесса, который использует линейное преобразование, но не является самим линейным преобразованием:

$D(\mathbf{v})$ $\mathbf{v}$ $\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

а также

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

но

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

это удвоение угла, которое включает вычисление углов, не является линейным и аналогично утверждению амебы, что вычисление собственного вектора не является линейным

— Секст Эмпирик
источник