В SVM ядро Гаусса определяется как: где . Я не знаю явного уравнения \ phi . Я хочу это знать.
Я также хочу знать
В SVM ядро Гаусса определяется как: где . Я не знаю явного уравнения \ phi . Я хочу это знать.
Я также хочу знать
Ответы:
Вы можете получить явное уравнение для ядра Гаусса через разложение в ряд Тейлора . Для простоты обозначений предположим, что :е х х ∈ R 1
Это также обсуждается более подробно на этих слайдах Чих-Джен Лином из NTU (слайд 11 специально). Обратите внимание, что на слайдах используется в качестве параметра ядра.
Уравнение в ОП справедливо только для линейного ядра.
Для любого действительного СДП ядра , существует отображение функция ф : Х → Н такое , что к ( х , у ) = ⟨ ф ( х ) , ф ( у ) ⟩ Н . Пространство H и вложение φ на самом деле не обязательно должны быть уникальными, но существует важная уникальная пара ( H , φ ), известная как гильбертово пространство воспроизводящего ядра (RKHS).
RKHS обсуждается: Steinwart, Hush and Scovel, Явное описание пространств Гильберта воспроизводящего ядра гауссовых ядер RBF , IEEE Transactions по теории информации 2006 ( doi , free citeseer pdf ).
Это несколько сложно, но все сводится к следующему: определите как e n ( z ) : = √
Пусть - последовательность, охватывающая все d- кортежи неотрицательных целых чисел; если d = 3 , возможно, n ( 0 ) = ( 0 , 0 , 0 ) , n ( 1 ) = ( 0 , 0 , 1 ) , n ( 2 ) = ( 0 , 1 , 1 ), и так далее. Обозначим й компонент i- го кортежа через n i j .
Тогда я компонента φ ( x ) равна ∏ d j = 1 e n i j ( x j ) . Таким образом, φ отображает векторы в R d на бесконечномерные комплексные векторы.
Подвох в том, что мы также должны определить нормы для этих бесконечномерных комплексных векторов особым образом; см. бумагу для деталей.
Steinwart et al. также дать более простое (на мой взгляд) вложение в , гильбертово пространство квадратично интегрируемых функций из R d → R : Φ σ ( x ) = ( 2 σ ) d ЗаметимчтоФсг(х)самасебе является функцией отRDвR. Это в основном плотностьd-мерного гауссова со среднимхи ковариации1
Это не единственные вложения, которые работают.
Другой основан на преобразовании Фурье, к которому приближается знаменитая статья Рахими и Рехта ( Случайные характеристики для крупномасштабных ядерных машин , NIPS 2007).
Вы также можете сделать это, используя ряды Тейлора: фактически бесконечную версию Коттера, Кешета и Сребро, Явные аппроксимации ядра Гаусса , arXiv: 1109.4603 .