Я посвятил много времени разработке методов и программного обеспечения для проверки прогностических моделей в традиционной статистической области. Внедряя больше байесовских идей в практику и обучая, я вижу некоторые ключевые отличия, которые следует принять Во-первых, байесовское прогнозирующее моделирование требует от аналитика тщательно продумать предыдущие распределения, которые могут быть адаптированы к возможностям-кандидатам, и эти приоритеты будут подтягивать модель к ним (т. Е. Достигать сокращения / штрафа / регуляризации с различными уровнями штрафов за разные прогнозирующие функции). ). Во-вторых, «реальный» байесовский путь не приводит к единой модели, а для прогноза можно получить полное апостериорное распределение.
С учетом этих байесовских особенностей что означает переоснащение? Должны ли мы оценить это? Если да, то как? Как мы узнаем, что байесовская модель надежна для использования в полевых условиях? Или это спорный вопрос, поскольку апостериор будет нести все неопределенности, связанные с осторожностью, когда мы используем модель, которую мы разработали для прогнозирования?
Как изменилось бы мышление, если бы мы заставили байесовскую модель перегонять в одно число, например, задний средний / модальный / медианный риск?
Я вижу некоторые связанные мысли здесь . Параллельное обсуждение может быть найдено здесь .
Дополнительный вопрос :: Если мы полностью байесовские и потратили некоторое время на размышления о априорах, прежде чем увидеть данные, и мы подбираем модель, в которой вероятность данных была определена надлежащим образом, мы вынуждены быть удовлетворенными нашей моделью в отношении переобучения ? Или нам нужно делать то, что мы делаем в мире частых посещений, где случайно выбранный субъект может быть предсказан в среднем хорошо, но если мы выберем субъекта с очень низким прогнозом или предмета с очень высоким прогнозируемым значением, будет регрессия значит?