Как выбрать оптимальную ширину бункера при калибровке вероятностных моделей?

Предпосылки: Здесь есть несколько замечательных вопросов / ответов о том, как калибровать модели, которые предсказывают вероятности того или иного исхода. Например

1. Оценка Бриера и ее разложение на разрешение, неопределенность и надежность .
2. Калибровочные графики и изотоническая регрессия .

Эти методы часто требуют использования метода биннинга для прогнозируемых вероятностей, так что поведение результата (0, 1) сглаживается по бин, принимая средний результат.

Проблема: Тем не менее, я не могу найти ничего, что объясняет мне, как выбрать ширину корзины.

Вопрос: Как выбрать оптимальную ширину корзины?

Попытка: две широко используемые ширины бункера выглядят так:

1. Биннинг одинаковой ширины, например, 10 бинов, каждый из которых покрывает 10% интервала [0, 1].
2. Метод биннинга Тьюки обсуждается здесь .

Но являются ли эти варианты бинов наиболее оптимальными, если бы кто-то был заинтересован в поиске интервалов в предсказанных вероятностях, которые являются наиболее ошибочно откалиброванными?

Любой статистический метод, использующий биннинг, в конечном итоге считается устаревшим. Оценка непрерывной калибровочной кривой была обычным явлением с середины 1990-х годов. Обычно используемые методы - это лесс (с отключенным определением выбросов), линейная логистическая калибровка и сплайн-логистическая калибровка. Я подробно расскажу об этом в моей книге « Стратегии регрессионного моделирования» и в заметках к курсу. См. Http://www.fharrell.com/p/blog-page.html . Пакет R rmsпозволяет легко получить гладкие непараметрические калибровочные кривые, используя либо независимую внешнюю выборку, либо загрузочный тест на исходной выборке разработки модели.

По моему опыту, биннинг хорош для визуализации распределения вероятностей, но обычно это плохая идея, если кто-то хочет использовать его для статистических тестов и / или вывода параметров. Прежде всего потому, что каждый сразу ограничивает точность шириной бункера. Другая распространенная проблема - когда переменная не связана, то есть нужно вводить низкие и высокие отсечки.

Работа с кумулятивными распределениями в духе Колмогорова-Смирнова обходит многие из этих проблем. Есть также много хороших статистических методов, доступных в этом случае. (см., например, https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test )