Я пытаюсь получить глобальный взгляд на некоторые основные идеи в машинном обучении, и мне было интересно, существует ли комплексный подход к различным понятиям потери (квадрат, лог, шарнир, прокси и т. Д.). Я думал о чем-то вроде более полной, формальной презентации превосходного поста Джона Лэнгфорда о семантике функции потери .
Ответы:
Учебник по энергетике на основе обучения по LeCun и др. может получить вам хорошую часть пути туда. Они описывают ряд функций потерь и обсуждают, что делает их «хорошими или плохими» для моделей, основанных на энергии.
Функция потерь задается задачей. Это может быть что угодно. Например, вы также можете оштрафовать используемое время и пространство процессора.
В обучении с подкреплением функция потерь является неизвестной недетерминированной функцией. Вы не можете переопределить его без изменения проблемы.
Я знаю, что этот вопрос устарел, но в данный момент он мне интересен.
Очень хорошая статья на тему выпуклых функций потерь и согласованности классификатора - Тонг Чжан « Статистическое поведение и согласованность методов классификации, основанных на минимизации выпуклых рисков ».