Как понять эффект RBF SVM

Как я могу понять, что делает ядро RBF в SVM? Я имею в виду, что понимаю математику, но есть ли способ почувствовать, когда это ядро будет полезным?

Будут ли результаты от kNN связаны с SVM / RBF, поскольку RBF содержит векторные расстояния?

Есть ли способ почувствовать ядро полинома? Я знаю, что чем выше измерение, тем оно шире. Но я хотел бы понять, что делают ядра, а не пробовать все возможные ядра и выбирать наиболее удачные.

svm kernel-trick

— Gerenuk
источник

Вы можете начать с рассмотрения одного из моих ответов здесь:
Нелинейная классификация SVM с ядром RBF

В этом ответе я пытаюсь объяснить, что пытается сделать функция ядра. Как только вы поймете, что он пытается сделать, вы можете прочитать мой ответ на вопрос по Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- радиально-базисных функций-ядро-карта-в-бесконечномерным-пространство / ответ / Arun-Айер-1

Воспроизведение содержания ответа на Quora, если у вас нет учетной записи Quora.

Вопрос: Почему ядро RBF (радиальная базисная функция) отображается в бесконечномерное пространство? Ответ: Рассмотрим ядро полинома степени 2, определяемое как, где и .
$k (x, y) = (x^{T} y)^{2}$ $k(x, y) = (x^Ty)^2$ $x, y \in \mathbb{R}^2$ $x = (x_1, x_2), y = (y_1, y_2)$
Таким образом, функция ядра может быть записана как, Теперь давайте попробуем придумать карту признаков такую что функция ядра может быть записана как
$k (x, y) = (x_{1} y_{1} + x_{2} y_{2})^{2} = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ . $k(x, y) = \Phi(x)^T\Phi(y)$
Рассмотрим следующую карту характеристик, По сути, эта карта объектов отображает точки вв точки в . Также обратите внимание, что что по сути является нашей функцией ядра.
$Φ (Икс) знак равно ({Икс}_{1}^{2}, \sqrt{2} {Икс}_{1} {Икс}_{2}, {Икс}_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (Икс)^{T} Φ (Y) знак равно {Икс}_{1}^{2} Y_{1}^{2} + 2 {Икс}_{1} {Икс}_{2} Y_{1} Y_{2} + {Икс}_{2}^{2} Y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$
$\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$

$\mathbb{R}^n$

Теперь приезжаем в РБФ.

$\mathbb{R}^2$
$k (x, y) = \exp (- ‖ x - y ‖^{2}) = \exp (- (x_{1} - y_{1})^{2} - (x_{2} - y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= \exp (- x_{1}^{2} + 2 x_{1} y_{1} - y_{1}^{2} - x_{2}^{2} + 2 x_{2} y_{2} - y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \exp (2 x^{T} y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, y) = \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \sum_{n = 0}^{\infty} \frac{(2 x^{T} y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$
Вопрос об упражнении : получить первые несколько векторных элементов карты объектов для RBF для описанного выше случая?

Теперь, из приведенного выше ответа, мы можем сделать вывод:

$\Phi$
$\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$

— TenaliRaman
источник