Применять «трюк с ядром» к линейным методам?

Трюк ядра используется в нескольких моделях машинного обучения (например , SVM ). Впервые он был представлен в статье «Теоретические основы метода потенциальных функций в обучении распознаванию образов» в 1964 году.

Определение Википедии говорит, что это

способ использования алгоритма линейного классификатора для решения нелинейной задачи путем отображения исходных нелинейных наблюдений в многомерное пространство, где впоследствии используется линейный классификатор; это делает линейную классификацию в новом пространстве эквивалентной нелинейной классификации в исходном пространстве.

Одним из примеров линейной модели, которая была распространена на нелинейные задачи, является ядро PCA . Может ли трюк ядра быть применен к любой линейной модели, или у него есть определенные ограничения?

Трюк с ядром можно применить только к линейным моделям, где примеры в постановке задачи отображаются в виде точечных продуктов (Support Vector Machines, PCA и т. Д.).

Еще две ссылки от Б. Шёлкопфа :

• Schölkopf, B. and Smola, AJ (2002). Учимся с ядрами . MIT Press.
• Schölkopf B., Tsuda K. и Vert J.-P. (2004). Ядерные методы в вычислительной биологии . MIT Press.

и сайт, посвященный машинам ядра .

@ ebony1 дает ключевую точку (+1), я был соавтором статьи, обсуждающей, как создать обобщенные линейные модели, например, логистическую регрессию и пуассоновскую регрессию, это довольно просто.

GC Cawley, GJ Janacek и NLC Talbot, машины обобщенного ядра, в материалах Международной совместной конференции IEEE / INNS по нейронным сетям (IJCNN-2007), страницы 1732-1737, Орландо, Флорида, США, 12-17 августа 2007 г. ( www , pdf )

Я также написал набор инструментов MATLAB (качество исследований) (к сожалению, без инструкций), который вы можете найти здесь .

Возможность моделирования целевого распределения довольно полезна для количественного определения неопределенности и т. Д., Поэтому она является полезным (хотя и довольно инкрементным) дополнением к методам обучения ядра.