Является ли оптимизация PCA выпуклой?

Целевой функцией анализа главных компонентов (PCA) является минимизация ошибки восстановления в норме L2 (см. Раздел 2.12 здесь . Другое представление пытается максимизировать дисперсию проекции. У нас также есть отличная статья здесь: Какова целевая функция PCA ? )

Мой вопрос заключается в том, что оптимизация PCA выпуклая? (Я нашел некоторые обсуждения здесь , но хотелось бы, чтобы кто-то мог предоставить хорошее доказательство здесь в резюме).

Нет, обычные формулировки PCA не являются выпуклыми проблемами. Но они могут быть преобразованы в выпуклую задачу оптимизации.

Понимание и удовольствие от этого следуют и визуализируют последовательность преобразований, а не просто получают ответ: оно заключается в путешествии, а не в пункте назначения. Главные шаги в этом путешествии

1. Получите простое выражение для целевой функции.

2. Увеличить его область, которая не является выпуклой, в область, которая есть.

3. Измените невыпуклую цель на ту, которая явно не меняет точки, в которых она достигает своих оптимальных значений.

Если вы пристально наблюдаете, вы можете увидеть скрывающиеся множители SVD и Лагранжа - но это всего лишь второстепенное шоу, представляющее интерес для сценического интереса, и я не буду комментировать их дальше.

---

Стандартная максимизирующая дисперсию формулировка PCA (или, по крайней мере, ее ключевой шаг)

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$$

где матрица - это симметричная положительно-полуопределенная матрица, построенная из данных (обычно это сумма квадратов и матрицы произведений, ее ковариационная матрица или корреляционная матрица).$n\times n$$\mathbb A$

(Эквивалентно, мы можем попытаться максимизировать неограниченную цель . Мало того, что это более неприятное выражение - это больше не квадратичная функция - но графические особые случаи будут быстро покажем, что она также не является выпуклой функцией. Обычно можно заметить, что эта функция инвариантна относительно пересчетов а затем сводит ее к ограниченной формулировке .)x → λ x ( ∗ $x^\prime \mathbb{A} x / x^\prime x$$x\to \lambda x$$(*)$

Любая проблема оптимизации может быть абстрактно сформулирована как

Найдите хотя бы один который делает функцию как можно большей. F : X → $x\in\mathcal{X}$$f:\mathcal{X}\to\mathbb{R}$

Напомним, что проблема оптимизации является выпуклой, когда она имеет два отдельных свойства:

1. Домен выпукла. $\mathcal{X}\subset\mathbb{R}^n$ Это можно сформулировать многими способами. Во-первых, всякий раз, когда и и , также , Геометрически: всякий раз , когда две конечные точки отрезка линии лежат в , весь отрезок лежит в . y∈ X 0≤λ≤1λx+(1-λ)y∈ X X $x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$$\lambda x + (1-\lambda)y\in\mathcal{X}$$\mathcal X$$\mathcal X$

2. Функция выпукла. $f$ Это также может быть сформулировано многими способами. Во-первых, всякий раз, когда и и ,(Нам нужно было, чтобы был выпуклым, чтобы это условие имело какой-либо смысл.) Геометрически: всякий раз, когда является любым отрезком в , график функции (ограниченный этим отрезком) лежит выше или на отрезке, соединяющем и в . y ∈ X 0 ≤ λ ≤ 1 f ( λ x + ( 1 - λ ) y ) ≥ λ f ( x ) + ( 1 - λ ) f ( y ) . X ¯ x y X f ( x , f ( x ) ) ( y , f ( $x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$

   $$f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$$ $\mathcal X$$\bar{xy}$$\mathcal X$$f$$(x,f(x))$R n + $(y,f(y))$$\mathbb{R}^{n+1}$

   Архетип выпуклой функции локально всюду параболичен с неположительным старшим коэффициентом: на любом отрезке она может быть выражена в виде сa ≤ $y\to a y^2 + b y + c$$a \le 0.$

Сложность с состоит в том, что - это единичная сфера , которая явно не выпуклая. X S n - 1 ⊂ R$(*)$$\mathcal X$$S^{n-1}\subset\mathbb{R}^n$ Однако мы можем изменить эту проблему, включив меньшие векторы. Это потому, что когда мы масштабируем с коэффициентом , умножается на . Когда , мы можем масштабировать до длины единицы, умножив ее на , увеличивая тем самым но оставаясь в пределах единичный шар .λ f λ 2 0 < x ′ x < 1 x λ = 1 / $x$$\lambda$$f$$\lambda^2$$0 \lt x^\prime x \lt 1$$x$fDn={x∈ R n∣x′x≤1}$\lambda=1/\sqrt{x^\prime x} \gt 1$$f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$ Поэтому давайте переформулируем как$(*)$

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$$

Его домен который явно выпуклый, так что мы на полпути. Осталось рассмотреть выпуклость графика функции .$\mathcal{X}=D^n$$f$

Хороший способ подумать о проблеме даже если вы не собираетесь выполнять соответствующие вычисления - в терминах спектральной теоремы. $(**)$ В нем говорится, что с помощью ортогонального преобразования вы можете найти хотя бы один базис в котором диагональ:$\mathbb P$$\mathbb{R}^n$$\mathbb A$

$$\mathbb {A = P^\prime \Sigma P}$$

где все недиагональные элементы равны нулю. Такой выбор можно представить как ничего не изменяющий , а просто изменяющий способ его описания : когда вы поворачиваете свою точку зрения, оси гиперповерхностей уровня функции (которые всегда были эллипсоидами) выровнены с осями координат.$\Sigma$$\mathbb{P}$$\mathbb A$$x\to x^\prime \mathbb{A} x$

Поскольку является положительно-полуопределенным, все диагональные элементы в должны быть неотрицательными. Мы можем дополнительно переставить оси (что является еще одним ортогональным преобразованием и поэтому может быть поглощено в ), чтобы гарантировать, что$\mathbb A$$\Sigma$$\mathbb P$

$$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$$

Если мы примем новыми координатами (в том числе ), функция будет$x=\mathbb{P}^\prime y$$x$$y=\mathbb{P}x$$f$

$$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$$

Эта функция явно не выпуклая! Его график выглядит как часть гиперпараболоида: в каждой точке внутри тот факт, что все неотрицательны, заставляет его скручиваться вверх, а не вниз . $\mathcal X$$\sigma_i$

Однако мы можем превратить в выпуклую задачу с помощью одного очень полезного метода. $(**)$ Зная, что максимум произойдет там, где , давайте вычтем постоянную из , по крайней мере, для точек на границе . Это не изменит местоположения каких-либо точек на границе, в которой оптимизируется , потому что оно понижает все значения на границе на одно и то же значение . Это предполагает изучение функции$x^\prime x = 1$$\sigma_1$$f$$\mathcal{X}$$f$$f$$\sigma_1$

$$g(y) = f(y) - \sigma_1 y^\prime y.$$

Это действительно вычитает постоянную из в граничных точках и вычитает меньшие значения во внутренних точках. Это будет гарантировать , что , по сравнению с , не имеет никакого нового глобального максимума на внутренней части .$\sigma_1$$f$$g$$f$$\mathcal X$

Давайте рассмотрим, что произошло с ловкостью рук замены на . Поскольку ортогонально, . (Это практически определение ортогонального преобразования.) Следовательно, в терминах координат можно записать$-\sigma_1$$-\sigma_1 y^\prime y$$\mathbb P$$y^\prime y = x^\prime x$$x$$g$

$$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$$

Поскольку для всех , каждый из коэффициентов равен нулю или отрицателен. Следовательно, (a) является выпуклым и (b) оптимизируется, когда . ( тогда подразумевает и оптимум достигается, когда , то есть - до знак - первый столбец )$\sigma_1 \ge \sigma_i$$i$$g$$g$$x_2=x_3=\cdots=x_n=0$$x^\prime x=1$$x_1=\pm 1$$y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$$\mathbb P$

Давайте повторим логику. Поскольку оптимизируется на границе где , потому что отличается от просто константой на этой границе, а также потому, что значения еще ближе к значениям внутри , максимумы должны совпадать с максимумами .∂ D n = S n - 1 y ′ y = 1 f g σ 1 g f D n f $g$$\partial D^n=S^{n-1}$$y^\prime y = 1$$f$$g$$\sigma_1$$g$$f$$D^n$$f$$g$

Нет.

$k$$M$

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

( - норма Фробениуса ). Для вывода см. Теорему Эккарта-Юнга .$\|\cdot\|_F$

Хотя норма выпуклая, множество, над которым она оптимизируется, невыпукло.

---

Выпуклым релаксации задачи РПЖ, называется Выпуклые Низкий ранг Аппроксимация

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

( - ядерная норма . Это выпуклая релаксация ранга - точно так же, как - выпуклая релаксация числа ненулевых элементов для векторов) ‖ ⋅ ‖ $\|\cdot\|_*$$\|\cdot\|_1$

Вы можете увидеть статистическое обучение с разреженностью , раздел 6 (матричные разложения) для деталей.

Если вас интересуют более общие проблемы и их связь с выпуклостью, см. Обобщенные модели низкого ранга .

Отказ от ответственности: предыдущие ответы довольно хорошо объясняют, как PCA в своей первоначальной формулировке невыпуклый, но может быть преобразован в выпуклую задачу оптимизации. Мой ответ предназначен только для тех бедных душ (таких как я), которые не очень знакомы с жаргоном юнит-сфер и СВД - что, кстати, приятно знать.

Мой источник - это лекция профессора Тибширани

Для решения задачи оптимизации с помощью выпуклых методов оптимизации существуют две предпосылки.

1. Целевая функция должна быть выпуклой.
2. Функции ограничения также должны быть выпуклыми.

Большинство формулировок PCA включают ограничение на ранг матрицы.

В препаратах этого типа PCA условие 2 нарушается. Потому что ограничение, что не является выпуклым. Например, пусть , будут 2 × 2 нулевыми матрицами с одиночной 1 в верхнем левом углу и нижнем правом углу соответственно. Затем каждый из них имеет ранг 1, но их среднее значение имеет ранг 2.J 11 J $rank(X) = k,$$J_{11}$$J_{22}$