потеря шарнира против логистических потерь преимущества и недостатки / ограничения

Потери шарнира можно определить с помощью а потерю журнала можно определить как log ( 1 + exp ( - y i w T x i ) $\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)$$\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i))$

У меня есть следующие вопросы:

1. Есть ли какие-либо недостатки потери шарнира (например, чувствительность к выбросам, как указано в http://www.unc.edu/~yfliu/papers/rsvm.pdf )?

2. Каковы различия, преимущества, недостатки одного по сравнению с другим?

Минимизация логарифмических потерь приводит к хорошим поведенческим вероятностным результатам.

Потеря шарнира приводит к некоторой (не гарантированной) редкости на дуале, но это не помогает при оценке вероятности. Вместо этого он наказывает за неправильную классификацию (вот почему так полезно определять маржу): уменьшение потери шарнира сопровождается уменьшением неправильной классификации маржи.

Итак, подведем итоги:

• Логарифмическая потеря приводит к лучшей оценке вероятности за счет точности

• Потеря шарнира приводит к лучшей точности и некоторой редкости за счет гораздо меньшей чувствительности к вероятностям

У @Firebug был хороший ответ (+1). На самом деле у меня был похожий вопрос здесь.

Каково влияние выбора различных функций потерь в классификации для приблизительной оценки 0-1?

Я просто хочу добавить еще одно важное преимущество логистических потерь: вероятностная интерпретация. Пример, можно найти здесь

В частности, логистическая регрессия является классической моделью в статистической литературе. (См., Что означает название «Логистическая регрессия» для именования.) Существует много важных концепций, связанных с логистическими потерями, таких как максимизация логарифмической вероятностной оценки, тестирование отношения правдоподобия, а также предположения о биномиальном. Вот некоторые связанные обсуждения.

Проверка отношения правдоподобия в R

Почему логистическая регрессия не называется логистической классификацией?

Есть ли предположение о логистической регрессии?

Разница между логит и пробит моделями

Поскольку @ hxd1011 добавил преимущество перекрестной энтропии, я добавлю один его недостаток.

Перекрестная энтропийная ошибка является одной из многих мер расстояния между распределениями вероятностей, но один из недостатков этого метода состоит в том, что распределения с длинными хвостами могут быть плохо смоделированы с использованием слишком большого веса для маловероятных событий.