Когда целесообразно использовать неправильное правило подсчета очков?

Merkle & Steyvers (2013) пишут:

Чтобы формально определить правильное правило оценки, пусть будет вероятностным прогнозом испытания Бернулли с истинной вероятностью успеха . Правильные правила оценки - это метрики, ожидаемые значения которых сведены к минимуму, если .$f$$d$$p$$f = p$

Я понимаю, что это хорошо, потому что мы хотим побудить прогнозистов генерировать прогнозы, которые честно отражают их истинные убеждения, и не хотят давать им извращенные стимулы поступать иначе.

Есть ли реальные примеры, в которых уместно использовать неправильное правило подсчета очков?

Справочник
Merkle, EC & Steyvers, M. (2013). Выбор строго правильного правила подсчета очков. Анализ решений, 10 (4), 292-304

Уместно использовать неправильное правило подсчета очков, когда целью является прогнозирование, но не вывод. Мне действительно все равно, обманывает ли другой синоптик или нет, когда я буду делать прогноз.

Правильные правила оценки гарантируют, что в процессе оценки модель приближается к истинному процессу генерирования данных (DGP). Это звучит многообещающе, потому что когда мы приближаемся к истинному DGP, мы также будем добиваться хороших результатов с точки зрения прогнозирования при любой функции потерь. Суть в том, что большую часть времени (на самом деле в действительности почти всегда) наше пространство поиска модели не содержит истинного DGP. В итоге мы приближаем истинный DGP к некоторой функциональной форме, которую мы предлагаем.

В этой более реалистичной обстановке, если наша задача прогнозирования проще, чем вычисление всей плотности истинного DGP, мы на самом деле можем добиться большего. Это особенно верно для классификации. Например, настоящий DGP может быть очень сложным, но задача классификации может быть очень простой.

Ярослав Булатов привел в своем блоге следующий пример:

http://yaroslavvb.blogspot.ro/2007/06/log-loss-or-hinge-loss.html

Как вы можете видеть ниже, истинная плотность неоднозначна, но очень легко построить классификатор, чтобы разделить сгенерированные этим данные на два класса. Просто если выведите класс 1, а если выведите класс 2.$x \ge 0$$x < 0$

Вместо того, чтобы сопоставить точную плотность выше, мы предлагаем следующую грубую модель, которая довольно далека от истинного DGP. Однако это делает совершенную классификацию. Это обнаруживается при использовании потери шарнира, что не является правильным.

С другой стороны, если вы решите найти настоящий DGP с потерей журнала (что правильно), вы начнете подбирать некоторые функционалы, так как не знаете, какую именно функциональную форму вам нужно априори. Но когда вы стараетесь все больше и больше соответствовать, вы начинаете неправильно классифицировать вещи.

Обратите внимание, что в обоих случаях мы использовали одинаковые функциональные формы. В случае неправильной потери он выродился в ступенчатую функцию, которая, в свою очередь, выполнила отличную классификацию. В надлежащем случае он пришел в бешенство, пытаясь удовлетворить каждую область плотности.

По сути, нам не всегда нужно добиваться истинной модели, чтобы иметь точные прогнозы. Или иногда нам не нужно делать добро во всей области плотности, но мы должны быть очень хорошими только в определенных ее частях.

Точность (т. Е. Процент правильно классифицированных) является неправильным правилом подсчета очков, поэтому в некотором смысле люди делают это постоянно.

В целом, любое правило подсчета очков, которое вынуждает делать прогнозы в заранее определенной категории, будет неправильным. Классификация - крайний случай этого (единственно допустимые прогнозы - 0% и 100%), но прогноз погоды, вероятно, также немного неправильный - мои местные станции, кажется, сообщают о вероятности дождя с интервалами 10 или 20%, хотя я Держу пари, что базовая модель гораздо точнее.

Правильные правила подсчета также предполагают, что прогнозист нейтрален к риску. Это часто не относится к фактическим прогнозистам-людям, которые, как правило, не подвержены риску, и некоторые приложения могут извлечь выгоду из правила оценки, которое воспроизводит это смещение. Например, вы можете придать немного больше веса P (дождь), поскольку носить зонтик, но не нуждаться в нем, гораздо лучше, чем попадать в ливень.