Какова целевая функция PCA?

Анализ основных компонентов может использовать матричную декомпозицию, но это всего лишь инструмент для достижения этой цели.

Как бы вы нашли главные компоненты без использования матричной алгебры?

Какова целевая функция (цель) и каковы ограничения?

pca

— Нил Макгиган
источник

Может быть, я что-то упускаю, поэтому, пожалуйста, поправьте меня, если я ошибаюсь, но должна быть возможность (по крайней мере, в принципе) построить то, что делается в PCA, используя матрицы как (сложную) задачу линейного программирования, но я не знаю, как бы вы заявили все необходимые ограничения. Также я не уверен, что это будет очень просто сделать по сравнению с использованием PCA. Почему вы пытаетесь избежать матриц?

— Крис Симокат

@ Крис Я не понимаю, как можно решить проблему линейного программирования. Я также не понимал, что в вычислениях следует избегать матриц . Вопрос заключался в том, какую проблему решает PCA, а не как это делается (например, путем вычисления SVD). Решение от кардинала говорит, что вы находите последовательные ортогональные направления максимальной дисперсии . Представленное мной решение говорит о том, что вы найдете гиперплоскости с минимальной ошибкой восстановления.

— NRH

@Xris Я надеюсь найти другой способ просмотра PCA без матричной алгебры, чтобы расширить мое понимание этого.

— Нил Макгиган

@Chris, у вас есть квадратичная целевая функция и ограничение равенства норм

ℓ_{2}

$\ell_2$ . Кроме того, согласно формулировке в ответе @ NRH, у вас есть ограничение на ранг матрицы. Это не приведет к проблеме линейного программирования. @NRH дает некоторую хорошую интуицию, и, на самом деле, существует очень тесная связь между этими двумя взглядами на PCA, которые были даны. Возможно, в сотрудничестве с @NRH, мы можем добавить это к его / ее посту, чтобы сделать полный набор ответов более полным.

— кардинал

@NRH, На самом деле, мне очень нравится ESL , но я думаю, что обработка этой темы довольно поверхностна, как и для многих тем в книге. В частности, они не доказывают (или даже не назначают в качестве упражнения) важную часть решения поставленной вами задачи оптимизации.

— кардинал

Ответы:

Не пытаясь дать полное представление о PCA, с точки зрения оптимизации, основной целевой функцией является коэффициент Рэлея . Матрица, которая фигурирует в частном, является (несколько кратной) выборочной ковариационной матрицей , где каждый представляет собой вектор функций и является матрицей , так что й строки является .

S = \frac{1}{n} \sum_{i = 1}^{n} x_{i} x_{i}^{T} = X^{T} X / n

$\newcommand{\m}[1]{\mathbf{#1}}\newcommand{\x}{\m{x}}\newcommand{\S}{\m{S}}\newcommand{\u}{\m{u}}\newcommand{\reals}{\mathbb{R}}\newcommand{\Q}{\m{Q}}\newcommand{\L}{\boldsymbol{\Lambda}} \S = \frac{1}{n} \sum_{i=1}^n \x_i \x_i^T = \m{X}^T \m{X} / n$

x_{i}

$\x_i$

p

$p$

X

$\m{X}$

i

$i$

x_{i}^{T}

$\x_i^T$

PCA стремится решить ряд задач по оптимизации. Первой в последовательности является проблема без ограничений

\begin{array}{ll} maximize & \frac{u^{T} S u}{u^{T} u}, u \in R^{p} . \end{array}

$\begin{array}{ll} \text{maximize} & \frac{\u^T \S \u}{\u^T\u} \;, \u \in \reals^p \> . \end{array}$

Так какуказанная выше безусловная проблема эквивалентна ограниченной задаче $\u^T \u = \|\u\|_2^2 = \|\u\| \|\u\|$

\begin{array}{ll} maximize & u^{T} S u \\ subject to & u^{T} u = 1 . \end{array}

$\begin{array}{ll} \text{maximize} & \u^T \S \u \\ \text{subject to} & \u^T \u = 1 \>. \end{array}$

Вот где вступает матричная алгебра. Поскольку - симметричная положительная полуопределенная матрица (по построению!), Она имеет разложение по собственным значениям вида где - это ортогональная матрица (поэтому ) и - диагональная матрица с неотрицательными элементами такими что . $\S$

S = Q Λ Q^{T},

$\S = \Q \L \Q^T \>,$

Q

$\Q$

Q Q^{T} = I

$\Q \Q^T = \m{I}$

Λ

$\L$

λ_{i}

$\lambda_i$

λ_{1} \geq λ_{2} \geq \dots \geq λ_{p} \geq 0

$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0$

Следовательно, . Поскольку ограничено в задаче одной единицей, то так же, как и , поскольку ортогонально. $\u^T \S \u = \u^T \Q \L \Q^T \u = \m{w}^T \L \m{w} = \sum_{i=1}^p \lambda_i w_i^2$ $\u$ $\m{w}$ $\|\m{w}\|_2 = \|\Q^T \u\|_2 = \|\u\|_2 = 1$ $\Q$

Но если мы хотим максимизировать количество при ограничениях, которые , то лучшее, что мы можем сделать, это set , то есть и для . $\sum_{i=1}^p \lambda_i w_i^2$ $\sum_{i=1}^p w_i^2 = 1$ $\m{w} = \m{e}_1$ $w_1 = 1$ $w_i = 0$ $i > 1$

Теперь, возвращаясь к соответствующему , что мы и искали, мы получаем где обозначает первый столбец , то есть собственный вектор , соответствующий наибольшего собственного значения . Значение целевой функции также легко увидеть как . $\u$

u^{⋆} = Q e_{1} = q_{1}

$\u^\star = \Q \m{e}_1 = \m{q}_1$

q_{1}

$\m{q}_1$

Q

$\Q$

S

$\S$

λ_{1}

$\lambda_1$

Остальные векторы главных компонентов затем находят путем решения последовательности (индексируемой ) задач оптимизации Итак, проблема та же, за исключением того, что мы добавили дополнительное ограничение, согласно которому решение должно быть ортогональным ко всем предыдущим решениям в последовательности. Это не трудно расширить аргумент выше индуктивно , чтобы показать , что решение - го проблема, на самом деле, , тем й собственный вектор . $i$

\begin{array}{ll} maximize & u_{i}^{T} S u_{i} \\ subject to & u_{i}^{T} u_{i} = 1 \\ u_{i}^{T} u_{j} = 0 \forall 1 \leq j < i . \end{array}

$\begin{array}{ll} \text{maximize} & \u_i^T \S \u_i \\ \text{subject to} & \u_i^T \u_i = 1 \\ & \u_i^T \u_j = 0 \quad \forall 1 \leq j < i\>. \end{array}$

i

$i$

q_{i}

$\m{q}_i$

i

$i$

S

$\S$

Решение PCA также часто выражается через разложение по сингулярным числам . Чтобы понять , почему, пусть . Тогда и так (строго говоря, с точностью до знака сальто) и . $\m{X}$ $\m{X} = \m{U} \m{D} \m{V}^T$ $n \S = \m{X}^T \m{X} = \m{V} \m{D}^2 \m{V}^T$ $\m{V} = \m{Q}$ $\L = \m{D}^2 / n$

Главные компоненты находят, проецируя на векторы главных компонент. Из приведенной выше формулировки SVD легко увидеть, что $\m{X}$

X Q = X V = U D V^{T} V = U D .

$\m{X} \m{Q} = \m{X} \m{V} = \m{U} \m{D} \m{V}^T \m{V} = \m{U} \m{D} \> .$

Простота представления как главных компонентных векторов, так и самих основных компонентов в терминах SVD матрицы признаков является одной из причин, по которым SVD проявляется так заметно в некоторых вариантах лечения PCA.

— кардинальный
источник

Если нужны только первые несколько единичных значений / векторов, Нэш и Шлиен дают алгоритм, напоминающий обычный метод степеней для вычисления доминирующих собственных значений. Это может представлять интерес для ОП.

— JM не является статистиком

@NRH, Спасибо, что поймали (и исправили) мои опечатки, прежде чем мне удалось их увидеть!

— кардинал

Привет, @cardinal, спасибо за ответ. Но, похоже, вы не дали шаг, чтобы доказать, почему последовательная оптимизация приводит к глобальному оптимуму. Не могли бы вы уточнить это? Благодарность!

— Лифу Хуан

Представленное кардиналом решение фокусируется на выборочной ковариационной матрице. Другой отправной точкой является ошибка восстановления данных по q- мерной гиперплоскости. Если p- мерными точками данных являются задача состоит в том, чтобы решить $x_1, \ldots, x_n$

min_{μ, λ_{1}, \dots, λ_{n}, V_{q}} \sum_{i = 1}^{n} | | x_{i} - μ - V_{q} λ_{i} | |^{2}

$\min_{\mu, \lambda_1,\ldots, \lambda_n, \mathbf{V}_q} \sum_{i=1}^n ||x_i - \mu - \mathbf{V}_q \lambda_i||^2$

для матрицы с ортонормированными столбцами и . Это дает наилучшую ранговую q- реконструкцию, измеренную евклидовой нормой, а столбцы решения являются первыми векторами q главных компонент. $p \times q$ $\mathbf{V}_q$ $\lambda_i \in \mathbb{R}^q$ $\mathbf{V}_q$

Для фиксированного решения для и (это регрессия): $\mathbf{V}_q$ $\mu$ $\lambda_i$

μ = \bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} λ_{i} = V_{q}^{T} (x_{i} - \bar{x})

$\mu = \overline{x} = \frac{1}{n}\sum_{i=1}^n x_i \qquad \lambda_i = \mathbf{V}_q^T(x_i - \overline{x})$

Для простоты обозначений предположим, что были центрированы в следующих вычислениях. Затем мы должны минимизировать $x_i$

\sum_{i = 1}^{n} | | x_{i} - V_{q} V_{q}^{T} x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - \mathbf{V}_q\mathbf{V}_q^T x_i||^2$

более с ортонормированными столбцами. Обратите внимание, что является проекцией на q- мерное пространство столбцов. Следовательно, задача эквивалентна минимизации над рангом Q проекций . То есть нам нужно максимизировать по проекциям ранга q , где - выборочная ковариационная матрица. В настоящее время $\mathbf{V}_q$ $P = \mathbf{V}_q\mathbf{V}_q^T$

\sum_{i = 1}^{n} | | x_{i} - P x_{i} | |^{2} = \sum_{i = 1}^{n} | | x_{i} | |^{2} - \sum_{i = 1}^{n} | | P x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - P x_i||^2 = \sum_{i=1}^n ||x_i||^2 - \sum_{i=1}^n||Px_i||^2$

P

$P$

\sum_{i = 1}^{n} | | P x_{i} | |^{2} = \sum_{i = 1}^{n} x_{i}^{T} P x_{i} = tr (P \sum_{i = 1}^{n} x_{i} x_{i}^{T}) = n tr (P S)

$\sum_{i=1}^n||Px_i||^2 = \sum_{i=1}^n x_i^TPx_i = \text{tr}(P \sum_{i=1}^n x_i x_i^T) = n \text{tr}(P \mathbf{S})$

P

$P$

S

$\mathbf{S}$

tr (P S) = tr (V_{q}^{T} S V_{q}) = \sum_{i = 1}^{q} u_{i}^{T} S u_{i}

$\text{tr}(P\mathbf{S}) = \text{tr}(\mathbf{V}_q^T\mathbf{S}\mathbf{V}_q) = \sum_{i=1}^q u_i^T \mathbf{S} u_i$ где - (ортонормированные) в , а аргументы, представленные в ответе @ cardinal, показывают, что максимум получается при взятии ' s быть собственными векторами для с самыми большими собственными значениями.

u_{1}, \dots, u_{q}

$u_1, \ldots, u_q$

q

$q$

V_{q}

$\mathbf{V}_q$

u_{i}

$u_i$

q

$q$

S

$\mathbf{S}$

q

$q$

Ошибка реконструкции предполагает ряд полезных обобщений, например разреженных главных компонентов или реконструкций по низкоразмерным многообразиям вместо гиперплоскостей. Подробности см. В разделе 14.5 «Элементы статистического обучения» .

— NRH
источник

(+1) Хорошие очки. Некоторые предложения: Было бы хорошо , чтобы определить и было бы очень хорошо , чтобы дать короткое доказательство результата. Или, в качестве альтернативы, это может быть связано с задачей оптимизации, связанной с коэффициентами Рэлея. Я думаю, что это сделало бы ответы на этот вопрос очень полными!

λ_{i}

$\lambda_i$

— кардинал

@cardinal, я думаю, что я выполнил недостающие шаги в переходе от формулировки реконструкции к решаемой вами проблеме.

— NRH

Хорошо сделано. Я считаю, что единственный оставшийся пробел в вашем последнем заявлении. Не сразу очевидно, что оптимизация суммы такая же, как выполнение последовательности оптимизаций в моем ответе. На самом деле, я не думаю, что это следует непосредственно, в общем. Но это не должно быть решено и здесь.

— кардинал

@ Cardinal, это следует по индукции. Вы предоставляете начало индукции и на шаге индукции выбираете ортонормированные векторы которые максимизируют сумму, и расположите ее так, чтобы был единичным вектором, ортогональным к . Тогда по вашим результатам и по предположению индукции . Конечно, база не является уникальной базой для мерного пространства. Вы также можете обобщить «аргумент выпуклой комбинации», который вы используете для прямого доказательства.

w_{1}, \dots, w_{q}

$w_1, \ldots, w_q$

w_{q}

$w_q$

u_{1}, \dots, u_{q - 1}

$u_1, \ldots, u_{q-1}$

w_{q}^{T} S w_{q} \leq u_{q}^{T} S u_{q}

$w_q^T \mathbf{S} w_q \leq u_q^T \mathbf{S} u_q$

\sum_{i = 1}^{q - 1} w_{i}^{T} S w_{i} \leq \sum_{i = 1}^{q - 1} u_{i}^{T} S u_{i}

$\sum_{i=1}^{q-1} w_i^T \mathbf{S} w_i \leq \sum_{i=1}^{q-1}u_i^T \mathbf{S} u_i$

q

$q$

— NRH

@cardinal, я не заставляю вложения, просто использую измерение. Если у нас есть мерное подпространство, вы всегда можете выбрать в этом пространстве так, чтобы оно было ортогонально -мерному подпространству. Затем вы заполняете base так, как вам нравится.

q

$q$

w_{q}

$w_q$

(q - 1)

$(q-1)$

w

$w$

— NRH

См. NIPALS ( wiki ) для одного алгоритма, который явно не использует матричную декомпозицию. Я полагаю, это то, что вы имеете в виду, когда говорите, что хотите избежать матричной алгебры, поскольку вы действительно не можете избежать матричной алгебры здесь :)

— JMS
источник