Можно ли сначала подгонять байесовскую модель, а затем начинать ослаблять приоры?

При выполнении частых статистических заданий существует длинный список больших запретов, например, просмотр результатов статистических тестов перед принятием решения о сборе дополнительных данных. В общем, мне интересно, есть ли подобный список исключений для методологий, используемых в байесовской статистике, и, в частности, является ли следующее одним из них.

Недавно я понял, что для некоторых моделей, которые я подбирал, мой процесс состоял в том, чтобы сначала установить модель с информативными априорами, чтобы увидеть, работает ли она или взорвется, а затем ослабить априоры либо до неинформативных, либо слабо информативных и переоборудовать модель.

Моя мотивация для этого действительно связана с тем, что я пишу эти модели в JAGS / Stan, и, по-моему, я воспринимал это скорее как задачу программирования, а не как статистическую. Итак, я делаю первый запуск, вроде как настраиваю его на быстрое сходство, используя информативные априоры, упрощая обнаружение ошибок в модели, которую я написал. Затем, после отладки модели, я заменяю ее неинформативными или слабоинформативными априорами.

Мой вопрос заключается в том, нарушаю ли я некоторые серьезные правила в этом процессе. Например, чтобы мои выводы были верными и чтобы не использовать степени свободы исследователей, нужно ли мне брать на себя обязательства по определенным приоритетам, прежде чем начинать подбирать какие-либо модели?

Субъективные байесовцы могут не согласиться, но, с моей точки зрения, предшествующее является лишь частью модели, как и вероятность. Изменение предыдущего в ответ на поведение модели не лучше и не хуже, чем изменение вашей функции правдоподобия (например, попытка различных распределений ошибок или различных формулировок модели).

Это может быть опасно, если позволит вам отправиться в рыболовную экспедицию, но альтернативы могут быть хуже. Например, в упомянутом вами случае, когда ваша модель взрывается, и вы получаете бессмысленные коэффициенты, у вас нет другого выбора, кроме как попробовать еще раз.

Кроме того, есть шаги, которые вы можете предпринять, чтобы минимизировать опасности рыболовной экспедиции:

• Заранее решите, какой из предыдущих вы будете использовать в окончательном анализе
• Быть искренним, когда вы публикуете или описываете свой анализ всей вашей процедуры
• Делать как можно больше с симулированными данными и / или удерживать данные для окончательного анализа. Таким образом, вы не будете слишком сильно загрязнять свой анализ.

Если вы экспериментируете с приорами и выбираете один из них с точки зрения производительности на данных под рукой, он больше не является «предыдущим». Это зависит не только от данных (как в эмпирическом байесовском анализе), но также от того, что вы хотите увидеть (что хуже). В конце концов, вы используете байесовские инструменты, но это нельзя назвать байесовским анализом.

Я думаю, что ты в порядке в этом случае по трем причинам:

1. Вы на самом деле не настраиваете свои приоры в ответ на ваши результаты. Если бы вы сказали что-то вроде: «Я использую априорные значения XYZ и, в зависимости от скорости сходимости и результатов DIC, я затем изменяю свой априор ABC», тогда я бы сказал, что вы совершаете «нет-нет», но в этом случае это Похоже, вы действительно этого не делаете.

2. В байесовском контексте приоры являются явными. Таким образом, вы можете ненадлежащим образом настроить свои приоры, но полученные приоры всегда будут видны для проверки другими, кто может спросить, почему у вас именно эти приоры. Может быть, я здесь наивен, так как легко взглянуть на что-то похожее на предыдущее и сказать: «Хм, выглядит разумно» просто потому, что кто-то предложил это, но ...

3. Я думаю, что вы делаете, это связано с советом Гельмана (и других) по созданию пошаговой модели JAGS, сначала работающей с синтетическими данными, а затем с реальными данными, чтобы убедиться, что у вас нет ошибки спецификации , Это на самом деле не фактор частой методологии, и это не экспериментальная методология.

С другой стороны, я все еще изучаю этот материал сам.

PS Когда вы говорите, что изначально настраиваете его на быстрое схождение с «информативными априорами», подразумеваете ли вы на самом деле информативные априоры, мотивированные рассматриваемой проблемой, или просто априоры, которые по произвольным причинам сильно толкают / ограничивают апостериорную скорость, чтобы ускорить «конвергенцию в какой-то произвольной точке? Если это первый случай, почему вы тогда удаляетесь от этих (мотивированных) приоров?

Я думаю, что это не может быть независимым от байесовской школы. Джеффрис хотел бы использовать неинформативные приоры. Линдли может захотеть, чтобы вы использовали информативные приоры. Эмпирические байесовцы попросят, чтобы вы позволили данным влиять на предыдущие. Но я думаю, что хотя каждая школа делает разные предложения о выборе априора, у всех них есть подход, который не означает, что вы можете взять априор и продолжать его дорабатывать, пока не получите желаемые результаты. Это определенно было бы похоже на просмотр данных и продолжение сбора данных и тестирования до тех пор, пока вы не достигнете предвзятого представления о том, каким должен быть ответ.

Частый или байесовский это не имеет значения, я не думаю, что кто-то захочет, чтобы вы подшучивали над данными (или делали массаж). Может быть, это то, с чем мы все можем согласиться, и смешное стихотворение Питера действительно уместно.

Я бы сказал, нет, вы не должны совершать конкретные приоры. Как правило, во время любого анализа байесовских данных вы должны выполнить анализ чувствительности модели к предыдущей. Это будет включать в себя попытки различных других приоров, чтобы увидеть, что происходит с результатами. Это может выявить лучший или более надежный априор, который следует использовать.

Два очевидных «нет-нет»: слишком много играть с предыдущим, чтобы получить лучшую подгонку, что приводит к переоснащению и изменению других параметров модели, чтобы получить лучшее подгонку. В качестве примера первого: изменение начального априорного значения на среднее значение так, чтобы оно было ближе к среднему значению выборки. Во-вторых, изменение пояснительных переменных / функций в регрессии для лучшего соответствия. Это является проблемой в любой версии регрессии и в основном лишает законной силы ваши степени свободы.