Разница между Первичной, Двойственной и Ядровой Регрессией

В чем разница между Первичной , Двойственной и Ядровой Регрессией? Люди используют все три, и из-за разных обозначений, которые все используют в разных источниках, мне трудно следовать.

Так может кто-нибудь сказать мне простыми словами, в чем разница между этими тремя? Кроме того, в чем могут быть некоторые преимущества или недостатки каждого из них, и какова может быть их сложность?

Короткий ответ: нет никакой разницы между Primal и Dual - это только способ достижения решения. Регрессия гребня ядра, по существу, такая же, как и обычная регрессия гребня, но использует трюк ядра для перехода в нелинейный режим.

Линейная регрессия

Прежде всего, обычная линейная регрессия наименьших квадратов пытается подогнать прямую линию к набору точек данных таким образом, чтобы сумма квадратов ошибок была минимальной.

Мы параметризуем линию наилучшего соответствия с помощью $\mathbb w$ и для каждой точки данных $(\mathbf x_i, y_i)$ мы хотим, чтобы $\mathbf w^T \mathbf x_i \approx y_i$ . Пусть $e_i = y_i - \mathbf w^T \mathbf x_i$ - ошибка - расстояние между предсказанными и истинными значениями. Таким образом , наша цель состоит в том, чтобы минимизировать сумму квадратов ошибок $\sum e_i^2 = \| \mathbf e \|^2 = \| X \mathbf w - \mathbf y \|^2$где $X = \begin{bmatrix} — \mathbf x_1 \,— \\ — \mathbf x_2 \,— \\ \vdots \\ — \mathbf x_n \,— \end{bmatrix}$- матрица данных с каждым$\mathbf x_i$быть строку, а$\mathbf y = (y_1 , \ ... \ , y_n)$вектор со всеми$y_i$«с.

Таким образом, целью является $\min\limits_{\mathbf w} \| X \mathbf w - \mathbf y \|^2$ , а решение - $\mathbf w = (X^T X)^{-1} X^T \mathbf y$ (известное как «Нормальное уравнение»).

Для новой точки невидимых данных $\mathbf x$ мы предсказываем его целевое значение у , как у = ш Т х .$\hat y$$\hat y = \mathbf w^T \mathbf x$

Хребет регрессии

Когда в моделях линейной регрессии много коррелированных переменных, коэффициенты $\mathbf w$ могут стать плохо определенными и иметь большую дисперсию. Одним из решений этой проблемы является ограничение веса $\mathbf w$ , чтобы они не превосходят некоторый бюджет $C$ . Это эквивалентно использованию $L_2$ -регуляризации, также известной как «снижение веса»: это уменьшит дисперсию ценой пропуска правильных результатов (т. Е. Введением некоторого смещения).

Теперь цель становится $\min\limits_{\mathbf w} \| X \mathbf w - y \|^2 + \lambda \, \| \mathbf w \|^2$ , где$\lambda$ - параметр регуляризации. Пройдя математику, мы получим следующее решение:$\mathbf w = (X^T X + \lambda \, I )^{-1} X^T \mathbf y$ . Это очень похоже на обычной линейной регрессии, но здесь мы добавим$\lambda$ к каждому диагональному элементу$X^T X$ .

Обратите внимание, что мы можем переписать $\mathbf w$ как $\mathbf w = X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$ (смздесьдляподробной информации). Для новой точки невидимых данных$\mathbf x$ мы предсказываем его целевое значение у , как у = х Т ш = х T X T$\hat y$$\hat y = \mathbf x^T \mathbf w = \mathbf x^T X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$ . Пусть$\boldsymbol \alpha = (X X^T + \lambda \, I)^{-1} \mathbf y$ . Тогда у = х Т х Т α = п Σ я = 1 α я ⋅ х Т х я .$\hat y = \mathbf x^T X^T \boldsymbol \alpha = \sum\limits_{i=1}^{n} \alpha_i \cdot \mathbf x^T \mathbf x_i$

Ридж Регресс Двойная Форма

Мы можем по-другому взглянуть на нашу цель и определить следующую квадратичную программную задачу:

$\min\limits_{\mathbf e, \mathbf w} \sum\limits_{i = 1}^n e_i^2$ st$e_i = y_i - \mathbf w^T \mathbf x_i$ для$i = 1 \, .. \, n$ и$\| \mathbf w \|^2 \leqslant C$ .

Это та же цель, но выраженная несколько по-другому, и здесь ограничение на размер $\mathbf w$ является явным. Для ее решения определим лагранжиан $\mathcal L_p(\mathbf w, \mathbf e ; C)$ - это первичная форма, содержащая первичные переменные $\mathbf w$ и $\mathbf e$ . Тогда мы оптимизируем его WRT $\mathbf e$ и $\mathbf w$ . Чтобы получить двойственную формулировку, мы помещаем найденные $\mathbf e$ и $\mathbf w$ обратно в $\mathcal L_p(\mathbf w, \mathbf e ; C)$ .

Итак, $\mathcal L_p(\mathbf w, \mathbf e ; C) = \| \mathbf e \|^2 + \boldsymbol \beta^T (\mathbf y - X \mathbf w - \mathbf e) - \lambda \, (\| \mathbf w \|^2 - C)$ . Взяв производные по$\mathbf w$ и $\mathbf e$ , получим$\mathbf e = \cfrac{1}{2} \boldsymbol \beta$и$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta$. Пусть$\boldsymbol \alpha = \cfrac{1}{2 \lambda} \boldsymbol \beta$, и, переводя$\mathbf e$и$\mathbf w$обратно в$\mathcal L_p(\mathbf w, \mathbf e ; C)$, получаем двойной лагранжиан$\mathcal L_d(\boldsymbol \alpha, \lambda; C) = -\lambda^2 \| \boldsymbol \alpha \|^2 + 2 \lambda \, \boldsymbol \alpha^T y - \lambda \| X^T \boldsymbol \alpha \| - \lambda C$ . Если мы возьмем производную по$\boldsymbol \alpha$ , то получим$\boldsymbol \alpha = (XX^T - \lambda I)^{-1} \mathbf y$ - тот же ответ, что и для обычной регрессии ядра Риджа. Нет необходимости брать производную по$\lambda$ - она ​​зависит от$C$ , который является параметром регуляризации, и также делаетпараметр$\lambda$ регуляризацией.

Затем положим $\boldsymbol \alpha$ в решение для первичной формы для $\mathbf w$ и получим $\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta = X^T \boldsymbol \alpha$. Таким образом, двойная форма дает то же решение, что и обычная регрессия Риджа, и это просто другой способ прийти к тому же решению.

Кернел Ридж Регрессия

Ядра используются для вычисления внутреннего произведения двух векторов в некотором пространстве признаков, даже не посещая его. Мы можем рассматривать ядро $k$ как $k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$ , хотя мы не знаем, что такое $\phi(\cdot)$ - мы знаем только, что оно существует. Существует много ядер, например, RBF, Polynonial и т. Д.

We can use kernels to make our Ridge Regression non-linear. Suppose we have a kernel $k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$. Let $\Phi(X)$ be a matrix where each row is $\phi(\mathbf x_i)$, i.e. $\Phi(X) = \begin{bmatrix} — \phi(\mathbf x_1) \,— \\ — \phi(\mathbf x_2) \,— \\ \vdots \\ — \phi(\mathbf x_n) \,— \end{bmatrix}$

Now we can just take the solution for Ridge Regression and replace every $X$ with $\Phi(X)$: $\mathbf w = \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$. For a new unseen data point $\mathbf x$ we predict its target value $\hat y$ as $\hat y= \mathbf \phi(\mathbf x)^T \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$.

First, we can replace $\Phi(X) \Phi(X)^T$ by a matrix $K$, calculated as $(K)_{ij} = k(\mathbf x_i, \mathbf x_j)$. Then, $\phi(\mathbf x)^T \Phi(X)^T$ is $\sum\limits_{i = 1}^n \phi(\mathbf x)^T \phi(\mathbf x_i) = \sum\limits_{i = 1}^n k(\mathbf x, \mathbf x_j)$. So here we managed to express every dot product of the problem in terms of kernels.

Finally, by letting $\boldsymbol \alpha = (K + \lambda \, I)^{-1} \mathbf y$ (as previously), we obtain $\hat y= \sum\limits_{i = 1}^n \alpha_i k(\mathbf x, \mathbf x_j)$

References

• Machine Learning I class at TU Berlin
• Elements of Statistical Learning, http://statweb.stanford.edu/~tibs/ElemStatLearn/
• http://0agr.ru/wiki/index.php/Normal_Equation
• http://stat.wikia.com/wiki/Kernel_Ridge_Regression
• http://stat.rutgers.edu/home/tzhang/papers/ml02_dual.pdf
• http://www.ics.uci.edu/~welling/classnotes/papers_class/Kernel-Ridge.pdf
• http://www.cs.nyu.edu/~mohri/mls/lecture_8.pdf