Как вы, наверное, заметили, записывая задачи оптимизации, единственное различие в минимизации состоит в том, какую норму Гильберта использовать для наказания. То есть, чтобы определить, какие «большие» значения используются для целей наказания. В настройке RKHS мы используем внутренний продукт RKHS, , тогда как регрессия гребня штрафует по отношению к евклидовой норме.ααtKα
Интересный теоретический результат является , как каждым метод эффектов спектров воспроизводящего ядра . Согласно теории RKHS, симметрично положительно определен. По спектральной теореме можно написать где - диагональная матрица собственных значений, а - ортонормированная матрица собственных векторов. Следовательно, в настройке RKHS
Между тем, в настройке регрессии Риджа обратите внимание, что по симметрии,
KKK=UtDUDU
(K+λnI)−1Y=[Ut(D+λnI)U]−1Y=Ut[D+λnI]−1UY.
KtK=K2(K2+λnI)−1KY=[Ut(D2+λnI)U]−1KY=Ut[D2+λnI]−1UKY=Ut[D2+λnI]−1DUY=Ut[D+λnD−1]−1UY.
Пусть спектр будет . В регрессии RKHS собственные значения стабилизируются с помощью
. В регрессии Риджа мы имеем
. В результате RKHS равномерно изменяет собственные значения, в то время как Ridge добавляет большее значение, если соответствующий меньше.
Kν1,…,νnνi→νi+λnνi→νi+λn/νiνi
В зависимости от выбора ядра две оценки для могут быть близки или удалены друг от друга. Расстояние в смысле нормы оператора будет
Однако, это все еще ограничено для данногоα
∥αRKHS−αRidge∥ℓ2=∥ARKHSY−ARidgeY∥ℓ2≤∥[D+λnI]−1−[D+λnD−1]−1∥∞∥Y∥ℓ2≤maxi=1,…,n{|(νi+λn)−1−(νi+λn/νi)−1|}∥Y∥ℓ2≤maxi=1,…,n{λn|1−νi|(νi+λn)(ν2i+λn)}∥Y∥ℓ2
YТаким образом, ваши две оценки не могут быть произвольно далеко друг от друга. Следовательно, если ваше ядро близко к идентичности, то, скорее всего, будет мало различий в подходах. Если ваши ядра сильно различаются, оба подхода могут привести к схожим результатам.
На практике трудно сказать однозначно, является ли одно лучше другого в данной ситуации. Поскольку мы минимизируем квадратичную ошибку при представлении данных в терминах функции ядра, мы эффективно выбираем лучшую регрессионную кривую из соответствующего гильбертова пространства функций. Следовательно, наказание по отношению к внутреннему продукту RKHS, кажется, естественный путь.