Как и любая метрика, хорошая метрика лучше, чем «глупая», случайная догадка, если вам придется угадывать без информации о наблюдениях. Это называется моделью только для перехвата в статистике.
Эта «тупая» догадка зависит от 2 факторов:
- количество классов
- Баланс классов: их распространенность в наблюдаемом наборе данных
В случае метрики LogLoss, одна обычная «хорошо известная» метрика состоит в том, чтобы сказать, что 0,693 является неинформативным значением. Эта цифра получается путем прогнозирования p = 0.5
для любого класса бинарных задач. Это верно только для сбалансированных бинарных задач . Потому что, когда распространенность одного класса составляет 10%, вы p =0.1
всегда будете прогнозировать для этого класса. Это будет ваша базовая линия тупого, случайного предсказания, потому что предсказание 0.5
будет глупее.
I. Влияние количества классов N
на немую логи:
В сбалансированном случае (каждый класс имеет одинаковую распространенность), когда вы прогнозируете p = prevalence = 1 / N
для каждого наблюдения, уравнение становится просто:
Logloss = -log(1 / N)
log
существо Ln
, неперианский логарифм для тех, кто использует это соглашение.
В двоичном случае N = 2
:Logloss = - log(1/2) = 0.693
Итак, тупые логлоссы следующие:
![тупой логлос в зависимости от количества классов - сбалансированный случай](https://i.stack.imgur.com/q5Dck.png)
II. Влияние распространенности занятий на немую логи:
а. Двоичная классификация случаев
В этом случае мы прогнозируем всегда p(i) = prevalence(i)
и получаем следующую таблицу:
![бинарная классификация logloss, сбалансированная - таблица](https://i.stack.imgur.com/R59Qj.png)
Таким образом, когда классы очень несбалансированны (распространенность <2%), лог-лог 0,1 может быть очень плохим! Например, точность 98% была бы плохой в этом случае. Так что, возможно, Logloss не будет лучшим показателем для использования
![logloss двоичной классификации, несбалансированный - диаграмма](https://i.stack.imgur.com/54KwE.png)
б. Трехклассный корпус
«Тупой» -логлосс в зависимости от распространенности - случай трех классов:
![Логлосс классификации трех классов, несбалансированный](https://i.stack.imgur.com/hF1Lz.png)
Здесь можно увидеть значения сбалансированных бинарных и трехклассных случаев (0,69 и 1,1).
ВЫВОД
Логлосс 0,69 может быть хорошим в мультиклассовой задаче и очень плохим в случае двоичного смещения.
В зависимости от вашего случая, вам лучше рассчитать исходный уровень проблемы, чтобы проверить смысл вашего прогноза.
В предвзятых случаях я понимаю, что у logloss та же проблема, что и у функций точности и других потерь: она обеспечивает только глобальное измерение вашей производительности. Так что вам лучше дополнить свое понимание метриками, ориентированными на классы меньшинства (вспоминание и точность), или, возможно, вообще не использовать logloss.