Доказательство близости функций ядра по точечному произведению

13

Как я могу доказать, что точечное произведение двух функций ядра является функцией ядра?

machine-learning kernel-trick

— Gigili
источник

18

Под точечным произведением я предполагаю, что вы имеете в виду, что если являются допустимыми функциями ядра, то их произведение $k_1(x,y), k_2(x,y)$

\begin{aligned} k_{p} (x, y) = k_{1} (x, y) k_{2} (x, y) \end{aligned}

$\begin{align} k_{p}( x, y) = k_1( x, y) k_2(x,y) \end{align}$

также является допустимой функцией ядра.

Доказательство этого свойства довольно просто, когда мы вызываем теорему Мерсера. Поскольку являются допустимыми ядрами, мы знаем (через Mercer), что они должны допустить внутреннее представление продукта. Пусть обозначает вектор признаков а обозначает то же самое для . $k_1, k_2$ $a$ $k_1$ $b$ $k_2$

\begin{aligned} k_{1} (x, y) = a (x)^{T} a (y), a (z) = [a_{1} (z), a_{2} (z), \dots a_{M} (z)] \\ k_{2} (x, y) = b (x)^{T} b (y), b (z) = [b_{1} (z), b_{2} (z), \dots b_{N} (z)] \end{aligned}

$\begin{align} k_1(x,y) = a(x)^T a(y), \qquad a( z ) = [a_1(z), a_2(z), \ldots a_M(z)] \\ k_2(x,y) = b(x)^T b(y), \qquad b( z ) = [b_1(z), b_2(z), \ldots b_N(z)] \end{align}$

Таким образом, представляет собой функцию, которая создает -димный вектор, а создает -димный вектор. $a$ $M$ $b$ $N$

Далее мы просто пишем продукт в терминах и и выполняем некоторую перегруппировку. $a$ $b$

\begin{aligned} k_{p} (x, y) & = k_{1} (x, y) k_{2} (x, y) \\ = (\sum_{m = 1}^{M} a_{m} (x) a_{m} (y)) (\sum_{n = 1}^{N} b_{n} (x) b_{n} (y)) \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} [a_{m} (x) b_{n} (x)] [a_{m} (y) b_{n} (y)] \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} c_{m n} (x) c_{m n} (y) \\ = c (x)^{T} c (y) \end{aligned}

$\begin{align} k_{p}(x,y) &= k_1(x,y) k_2(x,y) \\&= \Big( \sum_{m=1}^M a_m(x) a_m(y) \Big) \Big( \sum_{n=1}^N b_n(x) b_n(y) \Big) \\&= \sum_{m=1}^M \sum_{n=1}^N [ a_m(x) b_n(x) ] [a_m(y) b_n(y)] \\&= \sum_{m=1}^M \sum_{n=1}^N c_{mn}( x ) c_{mn}( y ) \\&= c(x)^T c(y) \end{align}$

где - мерный вектор , st . $c(z)$ $M \cdot N$ $c_{mn}(z) = a_m(z) b_n(z)$

Теперь, поскольку мы можем записать как внутренний продукт, используя карту характеристик , мы знаем, что является допустимым ядром (по теореме Мерсера). Это все, что нужно сделать. $k_p(x,y)$ $c$ $k_p$

— Майк Хьюз
источник

Откуда вы знаете, что особенность гильбертова пространства конечномерна? Разве это не может быть даже неразделимым?

— Андрей Х

Согласно вашему первому абзацу, мы знаем только, что kernel существование внутреннего представления продукта. Но в своем заключении вы используете, что существование внутреннего представления продукта подразумевает, что является ядром. Почему это действительно?

k

$k$

⟹

$\implies$

k_{p}

$k_p$

— Виктор Гломбик

3

Как насчет следующего доказательства:

Источник: лекция по методам ядра UChicago , стр. 5

— Пален
источник

0

Предположим, что и - это матрица ядра этих двух ядер и , соответственно, и они являются PSD. Мы определяем и хотим доказать, что это также ядро. Это эквивалентно тому, что соответствующая матрица ядра является PSD. $K1$ $K2$ $k_1(x,y)$ $k_2(x,y)$ $k(x,y) = k_1(x,y)k_2(x,y)$ $K = K1 \circ K2$

$K_3 = K1 \otimes K2$ - PSD (произведение Кронекера двух PSD - PSD).
$K$ является главной подматрицей и, следовательно, является PSD (основной подматрицей PSD является PSD). $K_3$

— цеяо чжан
источник