Ядро - это способ вычисления точечного произведения двух векторов и в некотором (возможно, очень многомерном) пространстве признаков, поэтому функции ядра иногда называют «обобщенным точечным произведением».уИксY
Предположим, у нас есть отображение которое переносит наши векторы из в некоторое пространство признаков . Тогда скалярное произведение и в этом пространстве равно . Ядром является функция которая соответствует этому точечному произведению, то есть .R n R m x y φ( x ) T φ( y )kk( x , y )=φ( x ) T φ( y )φ:рN→ RмрNрмИксYφ ( х )Tφ ( у )Кk ( x , y ) = φ ( x )Tφ ( у )
Почему это полезно? Ядра позволяют вычислять точечные произведения в некотором пространстве признаков, даже не зная, что это за пространство и что такое .φ
Например, рассмотрим простое ядро полинома с . Кажется, это не соответствует какой-либо функции отображения , это просто функция, которая возвращает действительное число. Предполагая, что и , давайте расширим это выражение:x , y ∈ R 2 φ x = ( x 1 , x 2 ) y = ( y 1 , y 2 )k ( x , y ) = ( 1 + xTу )2x , y ∈ R2φх =( х1, х2)у =( у1, у2)
k ( x , y )= ( 1 + хTу )2= ( 1 + х1Y1+ х2Y2)2знак равно= 1 + х21Y21+ х22Y22+ 2 х1Y1+ 2 х2Y2+ 2 х1Икс2Y1Y2
Обратите внимание, что это не что иное, как скалярное произведение между двумя векторами и и . Таким образом, ядро вычисляет скалярное произведение в 6-мерное пространство без явного посещения этого пространства.(1,y 2 1 ,y 2 2 , √( 1 , х21, х22, 2-√Икс1, 2-√Икс2, 2-√Икс1Икс2)φ(x)=φ(x1,x2)=(1,x 2 1 ,x 2 2 , √( 1 , у21, у22, 2-√Y1, 2-√Y2, 2-√Y1Y2)k(x,y)=(1+ x Ty)2=φ(x)Tφ(y)φ ( x ) = φ ( x1, х2) = ( 1 , х21, х22, 2-√Икс1, 2-√Икс2, 2-√Икс1Икс2)k ( x , y ) = ( 1 + xTу )2= φ ( х )Tφ ( у )
Другим примером является гауссово ядро . Если мы расширим эту функцию по Тейлору, то увидим, что она соответствует бесконечномерному кодомену . φk ( x , y ) = exp( -γ∥ x - y ∥2)φ
Наконец, я рекомендую онлайн-курс «Изучение данных» профессора Ясера Абу-Мостафы как хорошее введение в методы, основанные на ядре. В частности, лекции «Машины опорных векторов» , «Методы ядра» и «Функции радиального базиса» посвящены ядрам.