Какой метод ядра дает наилучшие выходы вероятности?

Недавно я использовал масштабирование SVM-выходов Платта для оценки вероятностей событий по умолчанию. Похоже, более прямыми альтернативами являются «Логистическая регрессия ядра» (KLR) и связанная с ними «Машина вектора импорта».

Кто-нибудь может сказать, какой метод ядра, дающий вероятностные результаты, является в настоящее время современным? Существует ли R-реализация KLR?

Спасибо большое за помощь!

logistic svm kernel-trick

— RichardN
источник

(+1) Очень интересный вопрос ...

— Штеффен

Ответы:

Гауссовская классификация процессов (использующая распространение ожиданий), вероятно, является самой современной в машинном обучении. Есть отличная книга Расмуссена и Уильямса (которую можно скачать бесплатно), на сайте которой очень хорошая реализация MATLAB. Больше программного обеспечения, книг, бумаг и т . Д. Здесь . Однако на практике KLR, вероятно, будет работать так же хорошо для большинства проблем, основная трудность заключается в выборе параметров ядра и регуляризации, что, вероятно, лучше всего сделать с помощью перекрестной проверки, хотя перекрестную проверку с использованием однократной проверки можно аппроксимировать очень эффективно, см. Cawley and Talbot (2008).

— Дикран Сумчатый
источник

(+1) Спасибо за ссылку и советы по выбору модели.

— ЧЛ

Я должен добавить, что не используйте реализации, основанные на приближении Лапласа - апостериор сильно искажен, а симметричное приближение, центрированное на моде, обычно не будет работать очень хорошо.

— Дикран Сумчатый

Спасибо, Дикран! Не могли бы вы объяснить мне связь KLR и сглаживания ядра? KLR-модель построена аналогично svm [потеря + штраф] -разработка и решается с помощью градиентного спуска. Но в то же время ссылки (например, в «Логистической регрессии ядра и машине вектора импорта», Zhu and Hastie 2005) на KLR относятся к литературе по сглаживанию (например, «Обобщенные аддитивные модели», Hastie and Tibshirani 1990).

— RichardN

Я не очень знаком с литературой по сглаживанию, но модели ядра тесно связаны со сглаживанием сплайнов. Я думаю, что лучшее место для поиска - публикации Грейс Вахба ( stat.wisc.edu/~wahba ), работа которых охватывает методы сглаживания и ядра.

— Дикран Сумчатый

Спасибо, я поближе посмотрю на публикации вахбы. Можете ли вы порекомендовать реализацию KLR, в лучшем случае R?

— РичардN

Полагаю, вы знаете, что ядро для логистической регрессии является непараметрическим, поэтому прежде всего у вас есть это ограничение.

Что касается пакета R, который я знаю и который работает довольно хорошо, это np : Непараметрические методы сглаживания ядра для смешанных типов данных.

Этот пакет предоставляет множество непараметрических (и полупараметрических) методов ядра, которые беспрепятственно обрабатывают сочетание типов данных непрерывного, неупорядоченного и упорядоченного фактора.

Что касается современного уровня Kernell, я могу порекомендовать поэкспериментировать с теми, что описаны в этом документе с 2009 года. Внимательно прочитайте его, чтобы выбрать тот, который является лучшим и более актуальным для вас.

— Мариана Софер
источник

Привет, Мариана, спасибо за твой ответ, но у нас возникло недоразумение: под "методами ядра" я подразумеваю такие методы, как машина опорных векторов, использующая "трюк ядра", а не методы сглаживания ядра.

— RichardN