Карта возможностей для ядра Гаусса

24

В SVM ядро Гаусса определяется как: где . Я не знаю явного уравнения . Я хочу это знать.

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

Я также хочу знать

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$ , где

c_{i} \in R

$c_i\in \mathbb R$ . Теперь я думаю, что это не равно, потому что использование ядра обрабатывает ситуацию, когда линейный классификатор не работает. Я знаю,

ϕ

$\phi$ проецирует x в бесконечное пространство. Так что, если он все еще остается линейным, независимо от того, сколько он размеров, svm все равно не сможет сделать хорошую классификацию.

machine-learning svm kernel-trick

— Вивьен
источник

почему это ядро подразумевает преобразование? Или вы имеете в виду связанное пространство функций?

— Плацидия

Да, что такое пространство признаков чтобы

ϕ (\cdot)

$\phi(\cdot)$

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— user27886

20

Вы можете получить явное уравнение для ядра Гаусса через разложение в ряд Тейлора . Для простоты обозначений предположим, что : $\phi$ $e^x$ $x\in \mathbb{R}^1$

ϕ (x) = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

Это также обсуждается более подробно на этих слайдах Чих-Джен Лином из NTU (слайд 11 специально). Обратите внимание, что на слайдах используется в качестве параметра ядра. $\gamma=\frac{1}{2\sigma^2}$

Уравнение в ОП справедливо только для линейного ядра.

— Марк Клазен
источник

2

Привет, но это уравнение выше подходит только для одного измерения.

— Вивиан

Итак, здесь воспроизводящее ядро гильбертова пространства является подпространством в

, верно?

ℓ^{2}

$\ell^2$

— The_Anomaly

Есть ли также явное представление ядра Лапласа?

— Феликс Краззолара

13

Для любого действительного СДП ядра , существует отображение функция такое , что . Пространство и вложение на самом деле не обязательно должны быть уникальными, но существует важная уникальная пара известная как гильбертово пространство воспроизводящего ядра (RKHS). $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

RKHS обсуждается: Steinwart, Hush and Scovel, Явное описание пространств Гильберта воспроизводящего ядра гауссовых ядер RBF , IEEE Transactions по теории информации 2006 ( doi , free citeseer pdf ).

Это несколько сложно, но все сводится к следующему: определите как $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

Пусть - последовательность, охватывающая все кортежи неотрицательных целых чисел; если , возможно, , , $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ , и так далее. Обозначим й компонент го кортежа через . $j$ $i$ $n_{ij}$

Тогда я компонента равна . Таким образом, отображает векторы в на бесконечномерные комплексные векторы. $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

Подвох в том, что мы также должны определить нормы для этих бесконечномерных комплексных векторов особым образом; см. бумагу для деталей.

Steinwart et al. также дать более простое (на мой взгляд) вложение в , гильбертово пространство квадратично интегрируемых функций из : $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$ Заметимчтосамасебе является функцией отв. Это в основном плотностьмерного гауссова со средними ковариации

Φ_{σ} (x) = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

; отличается только нормализующая константа. Таким образомкогда мы берем

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

мы беремпроизведение гауссовых функций плотности, которое само по себе является определенным постоянным временем гауссовой функции плотности. Когда вы выполняете этот интеграл по

, тогда выпадающая константа в конечном итоге становится точно

.

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$

t

$t$

k (x, y)

$k(x, y)$

Это не единственные вложения, которые работают.

Другой основан на преобразовании Фурье, к которому приближается знаменитая статья Рахими и Рехта ( Случайные характеристики для крупномасштабных ядерных машин , NIPS 2007).

Вы также можете сделать это, используя ряды Тейлора: фактически бесконечную версию Коттера, Кешета и Сребро, Явные аппроксимации ядра Гаусса , arXiv: 1109.4603 .

— Дугал
источник

1

Дуглас Заря дала 1d версии «более простой» вложение в интересной теме здесь .

— Дугал

Φ

$\Phi$

6

$\phi$ $K$ $\sigma$

— Дикран Сумчатый
источник

Спасибо за ваш ответ. когда

σ \to 0

$\sigma\rightarrow 0$ размерность проектов ядра Гаусса будет увеличиваться. И по твоему вдохновению теперь я думаю, что это не равно. Потому что, используя ядро просто справиться с ситуацией, что линейная классификация не работает.

— Вивиан