Плоские, сопряженные и гиперприоры. Кто они такие?

В настоящее время я читаю о байесовских методах в вычислительной молекулярной эволюции Янга. В разделе 5.2 говорится о приорах, в частности неинформативных / плоских / расплывчатых / диффузных, сопряженных и гиперприорных.

Возможно, это требует чрезмерного упрощения, но может ли кто-нибудь объяснить просто разницу между этими типами приоров и как это повлияет на результат анализа / решений, которые я приму в процессе байесовского анализа?

(Я не статистика, и я только начинаю путь к изучению байесовского анализа, поэтому, чем больше он выражается в непрофессионале, тем лучше)

Проще говоря, плоский / неинформативный априор используется, когда кто-то мало или совсем не знает о данных, и, следовательно, он оказывает наименьшее влияние на результаты вашего анализа (т.е. последующий вывод).

Распределения сопряженных - это те, чьи априорные и задние распределения одинаковы, а априор называется сопряженным априором. Его предпочитают за его алгебраические удобства , особенно когда у вероятности есть распределение в виде экспоненциального семейства (гауссовское, бета и т. Д.). Это чрезвычайно полезно при проведении задних симуляций с использованием выборки Гиббса.

И, наконец, представьте, что для вашей модели задано предварительное распределение, однако вы хотите добавить еще один уровень сложности / неопределенности. Вы бы затем наложить априорное распределение по параметрам вышеупомянутого предварительного, отсюда и название гипер -prior.

Я думаю, что байесовский анализ данных Гельмана - отличное начало для всех, кто интересуется изучением байесовской статистики :)

На высшем уровне мы можем думать о всех видах априоров как о том, что они указывают некоторый объем информации, которую исследователь вносит в анализ вне самих данных: перед просмотром данных, какие значения параметров более вероятны?

В мрачные века байесовского анализа, когда байесианцы боролись с ним с частыми лицами, существовало мнение, что исследователь хотел бы представить как можно меньше информации для анализа с помощью априорных исследований. Поэтому было много исследований и споров, посвященных пониманию того, как именно априор может быть «неинформативным» таким образом. Сегодня Гельман выступает против автоматического выбора неинформативных априорных значений, как говорится в анализе байесовских данныхчто описание «неинформативный» отражает его отношение к предшествующему, а не к каким-либо «особым» математическим признакам предшествующего. (Более того, в ранней литературе был вопрос о том, в каком масштабе априор неинформативен. Я не думаю, что это особенно важно для вашего вопроса, но для хорошего примера этого аргумента с частой точки зрения см. Начало Гэри Кинга, Объединяющая Политическая Методология. )

«Плоский» априор указывает на унифицированный априор, где все значения в диапазоне одинаково вероятны. Опять же, есть аргументы о том, являются ли они действительно неинформативными, поскольку указание того, что все значения одинаково вероятны, является, в некотором роде, информацией и может быть чувствительным к параметризации модели. Плоские приоры имеют долгую историю в байесовском анализе, уходя корнями в Байес и Лапласа.

«Неопределенный» априор сильно рассеян, хотя и не обязательно плоский, и он выражает правдоподобность большого диапазона значений, а не концентрирует массу вероятности вокруг определенного диапазона. По сути, это априор с высокой дисперсией (что означает «высокая» дисперсия в вашем контексте).

Сопряженные априорные значения имеют удобную особенность, заключающуюся в том, что при умножении на соответствующую вероятность они создают выражение в замкнутой форме. Одним из примеров этого является бета-коэффициент с биномиальной вероятностью или гамма-коэффициент с вероятностью Пуассона. Есть полезные таблицы этих по всему Интернету и Википедии. Экспоненциальное семейство чрезвычайно удобно в этом отношении.

Конъюгатные априорные значения часто являются выбором «по умолчанию» для некоторых задач из-за их удобных свойств, но это не обязательно означает, что они являются «лучшими», если только предварительные знания не могут быть выражены с помощью предшествующего сопряжения. Достижения в области вычислений означают, что сопряженность не так ценилась, как это было раньше (см. Выборка Гиббса против NUTS), поэтому мы можем без труда выполнить вывод с несопряженными приорами.

$N(\mu,\sigma^2)$$\mu$$\sigma^2$$\mu$$\sigma^2$