Почему кто-то использует байесовский подход с «неинформативным» неподобающим предшествующим вместо классического подхода?

Если интерес представляет собой просто оценка параметров модели (точечная и / или интервальная оценка) и предшествующая информация не является надежной, слабой (я знаю, что это немного расплывчато, но я пытаюсь создать сценарий, в котором выбор до этого сложно) ... Почему кто-то решил использовать байесовский подход с «неинформативными» неподходящими априорными вместо классического подхода?

Есть две причины, по которым можно использовать байесовский подход, даже если вы используете крайне неинформативные приоры:

• Проблемы сходимости. Есть некоторые распределения (биномиальные, отрицательные биномиальные и обобщенные гамма - те, с которыми я больше всего знаком), которые имеют проблемы сходимости нетривиальное количество времени. Вы можете использовать «байесовский» фреймворк и, в частности, методы Монте-Карло с цепью Маркова (MCMC), чтобы по существу преодолеть эти проблемы сходимости с вычислительной мощностью и получить из них приличные оценки.
• Интерпретация. Байесовская оценка + доверительный интервал + 95% имеет более интуитивную интерпретацию, чем оценочная частота + 95% -ный доверительный интервал, поэтому некоторые могут предпочесть просто сообщить о них.

Хотя результаты будут очень похожи, их интерпретации различаются.

Доверительные интервалы подразумевают идею многократного повторения эксперимента и возможности зафиксировать истинный параметр в 95% случаев. Но вы не можете сказать, что у вас есть 95% -ный шанс на это.

Достоверные интервалы (байесовские), с другой стороны, позволяют сказать, что существует 95% «вероятность» того, что интервал фиксирует истинное значение. Обновление: более Байесовский способ сказать, что вы можете быть на 95% уверены в своих результатах.

$P(Data|Hypothesis)$$P(Hypothesis|Data)$

$\pm 2 \sigma$

Обеспечение полного апостериорного распределения параметров является преимуществом байесовского подхода по сравнению с классическими методами, которые обычно обеспечивают только точечную оценку параметров, представленных модой функции правдоподобия, и используют предположения асимптотической нормальности и квадратичное приближение. функции логарифмического правдоподобия для описания неопределенностей. С байесовской структурой нет необходимости использовать какое-либо приближение для оценки неопределенностей, поскольку доступно полное апостериорное распределение параметров. Кроме того, байесовский анализ может обеспечить достоверные интервалы для параметров или любой функции параметров, которые легче интерпретируются, чем концепция доверительного интервала в классической статистике (Congdon, 2001).

Так, например, вы можете рассчитать достоверные интервалы для разницы между двумя параметрами.

Сэр Гарольд Джеффрис был сильным сторонником байесовского подхода. Он показал, что если вы используете диффузные неправильные априоры, результирующий байесовский вывод будет таким же, как частный логический подход (т. Е. Байесовские вероятные регионы совпадают с доверительными интервалами частотников). Большинство байесовцев защищают правильные информационные информаторы. Есть проблемы с неподходящими априорами, и некоторые могут утверждать, что ни один из них не является действительно неинформативным. Я думаю, что байесовцы, которые используют эти Джеффриса, делают это как последователи Джеффриса. Деннис Линдли , один из сильнейших сторонников байесовского подхода, очень уважал Джеффриса, но выступал за информативные приоры.

Байесовский подход имеет практические преимущества. Это помогает с оценкой, часто являющейся обязательной. И это позволяет создавать новые семейства моделей и помогает в построении более сложных (иерархических, многоуровневых) моделей.

Например, в смешанных моделях (включая случайные эффекты с параметрами дисперсии) можно получить более точные оценки, если параметры дисперсии оцениваются путем маргинализации по параметрам более низкого уровня (коэффициенты модели; это называется REML ). Байесовский подход делает это естественно. С этими моделями, даже с REML, оценки максимальной вероятности (ML) параметров дисперсии часто равны нулю или смещены вниз. Правильный априор для параметров дисперсии помогает.

Даже если используется точечная оценка ( MAP , максимум апостериори), приоры меняют семейство моделей. Линейная регрессия с большим набором несколько коллинеарных переменных неустойчива. Регуляризация L2 используется как исправление, но она интерпретируется как байесовская модель с гауссовой (неинформативной) предварительной оценкой и MAP. (Регуляризация L1 - это другой априор и дает разные результаты. На самом деле, здесь априор может быть несколько информативным, но он касается коллективных свойств параметров, а не одного параметра.)

Таким образом, есть некоторые общие и относительно простые модели, где для достижения цели необходим байесовский подход!

Еще более предпочтительны более сложные модели, такие как скрытое распределение Дирихле (LDA), используемое в машинном обучении. А некоторые модели по своей природе являются байесовскими, например, основанные на процессах Дирихле .

$\textit{practical}$$\hat{\theta} = \hat{\theta}(x_1,\dots,x_n)$$\Theta$$f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta)$$f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\hat{\theta})$$\hat{\theta}$

Есть несколько причин:

1. $\pm \text{SE}$
2. Свойства большой выборки обычно полностью идентичны некоторому соответствующему подходу к частоте.
3. Часто существует значительное нежелание договариваться о каких-либо приорах, независимо от того, сколько мы на самом деле знаем, из-за страха быть обвиненным в «не объективности». Используя неинформативные априоры («без априоров»), можно делать вид, что такой проблемы нет, что позволит избежать критики со стороны некоторых рецензентов.

Теперь о недостатках простого использования неинформативных априорных слов, начнем с того, что я считаю наиболее важным, а затем перейдем к некоторым также весьма важным техническим аспектам:

1. Честно говоря, интерпретация того, что вы получаете, почти такая же, как и для частых умозаключений. Вы не можете просто пометить свой вывод о максимальном правдоподобии для часто повторяющихся данных как байесовский максимальный апостериорный вывод и утверждать, что это освобождает вас от любых опасений по поводу множественных сравнений, множественного взгляда на данные и позволяет интерпретировать все утверждения с точки зрения вероятности того, что некоторые гипотезы правда. Конечно, ошибки типа I и т. Д. Являются частыми понятиями, но мы, как ученые, должны заботиться о том, чтобы делать ложные заявления, и мы знаем, что выполнение вышеизложенного вызывает проблемы. Многие из этих проблем уходят (или, по крайней мере, являются намного меньшей проблемой), если вы встраиваете вещи в иерархическую модель / делаете что-то эмпирическое по Байесу, но обычно это сводится к неявному генерированию априоров с помощью процедуры анализа, включая основание для вашего априора в вашу модель (и альтернативой этому является явное формулирование априоров). Эти соображения часто игнорируются, по моему мнению, в основном для проведения байесовского p-хакерства (то есть, вводить множественность, но игнорировать его) с фиговым листком оправдания, что это не проблема, когда вы используете байесовские методы (опуская все условия, которые должны быть выполнены).
2. С более «технической» стороны неинформативные приоры являются проблематичными, потому что вам не гарантирован правильный задний план. Многие люди установили байесовские модели с неинформативными априорами и не поняли, что апостериор неправильный. В результате были получены образцы MCMC, которые были практически бессмысленными.

Последний пункт - аргумент в пользу предпочтения довольно расплывчатых (или немного более слабоинформативных) априорных значений, обеспечивающих правильную апостериорность. По общему признанию, иногда может быть трудно выбрать из них также, и может быть трудно заметить, что весь задний слой не был исследован. Однако было показано, что байесовские методы с неопределенными (но правильными) приорами во многих областях имеют действительно хорошие свойства небольших выборок с частой точки зрения, и вы, безусловно, можете увидеть, что в качестве аргумента для их использования, хотя с немного большим количеством данных вряд ли любая разница по сравнению с методами с неинформативными априорными