Почему существуют рекомендации против использования Jeffreys или энтропийных априоров для сэмплеров MCMC?

На своей вики-странице разработчики Стэна заявляют:

Некоторые принципы нам не нравятся: инвариантность, Джеффрис, энтропия

Вместо этого я вижу много нормальных рекомендаций по распространению. До сих пор я использовал байесовские методы, которые не основывались на выборке, и был отчасти рад, что понял, почему был хорошим выбором для биномиальных вероятностей.$\theta \sim \text{Beta}\left(\alpha=\frac{1}{2},\beta=\frac{1}{2}\right)$

Это, конечно, разнообразная группа людей с разными мнениями, которые собираются вместе и пишут вики. Подводя итог, я знаю / понимаю с некоторыми комментариями:

• Выбор вашего предыдущего на основе вычислительных удобств является недостаточным обоснованием. Например, использование бета-версии (1/2, 1/2) исключительно потому, что она позволяет выполнять сопряженное обновление, не является хорошей идеей. Конечно, как только вы придете к выводу, что он обладает хорошими свойствами для типа проблемы, над которой вы работаете, это нормально, и вы могли бы также сделать выбор, который делает реализацию легкой. Существует множество примеров, когда удобный выбор по умолчанию оказывается проблематичным (см. Gamna (0,001, 0,001) до того, как включить выборку Гиббса).

• С Stan - в отличие от WinBUGS или JAGS - нет особого преимущества для (условно) сопряженных априорных элементов. Так что вы можете просто игнорировать вычислительный аспект. Не совсем, хотя, потому что с очень тяжелыми хвостовыми априорами (или неправильными априорами) и данными, которые плохо идентифицируют параметры, вы сталкиваетесь с проблемами (на самом деле это не специфическая проблема Стэна, но Стэн довольно хорошо выявляет эти проблемы и предупреждает пользователя вместо того, чтобы счастливо отбирать пробы).

• Априоры Джеффриса и других «малоинформативных» данных иногда могут быть неправильными или слишком сложными для понимания в больших измерениях (не говоря уже о том, чтобы их выводить) и с редкими данными. Может быть, это слишком часто приводило к тому, что авторам было неудобно с ними сталкиваться. Как только вы работаете в чем-то, вы учитесь больше и чувствуете себя комфортно, поэтому время от времени меняются мнения.

• В разреженных настройках данных предшествующее действительно имеет значение, и если вы можете указать, что абсолютно неправдоподобные значения для параметра неправдоподобны, это очень помогает. Это мотивирует идею слабоинформативных априоров - не совсем информативных априоров, но тех, которые в наибольшей степени поддерживают правдоподобные ценности.

• На самом деле, вы могли бы задаться вопросом, зачем беспокоиться о неинформативных априорах, если у нас много данных, которые действительно хорошо идентифицируют параметры (можно просто использовать максимальную вероятность). Конечно, есть множество причин (избегание патологий, получение «реальной формы» постеров и т. Д.), Но в ситуациях с «большим количеством данных», похоже, нет реального аргумента против слабоинформативных априоров.

• Возможно, немного странно, что N (0, 1) является удивительно приличным априором для коэффициента в логистике, пуассоновской или кокс-регрессии для многих приложений. Например, это очень приблизительно распределение наблюдаемых эффектов лечения во многих клинических испытаниях.

Они не дают никакого научного / математического обоснования для этого. Большинство разработчиков не работают с такими видами априоров, и они предпочитают использовать более прагматичные / эвристические априоры, такие как обычные априоры с большими отклонениями (которые могут быть информативными в некоторых случаях). Тем не менее, немного странно, что они рады использовать ПК-приоры, основанные на энтропии (расхождение KL), после того, как они начали работать над этой темой.

$Gamma(0.001,0.001)$