Помогите мне понять байесовские априорные и последующие распределения

В группе студентов 2 из 18 левши. Найти апостериорное распределение учеников-левшей в популяции, предполагая неинформативный априорный анализ. Подведите итоги. По данным литературы, 5-20% людей - левши. Примите эту информацию во внимание в вашем предыдущем и вычислите новое заднее.

Я знаю, что бета-дистрибутив должен быть использован здесь. Во-первых, значения и равны 1? Уравнение, которое я нашел в материале для апостериорного$\alpha$$\beta$

$Y=2$N = 18 ,$N=18$

Почему это в уравнении? ( обозначает долю левшей). Это неизвестно, так как это может быть в этом уравнении? Мне кажется смешным вычислять данного и использовать это в уравнении, дающем . Ну, с образцом результат составил . я должен вывести из этого?$r$$r$$r$$Y$$r$$r$$r=2/18$$0,0019$$f$

Уравнение, дающее ожидаемое значение учетом известных и сработало лучше и дало мне что звучит примерно так. Уравнение со значением присвоенным и . Какие значения я должен дать и чтобы учесть предшествующую информацию?$R$$Y$$N$$0,15$$E(r | X, N, α, β) = (α + X)/(α + β + N)$$1$$α$$β$$α$$β$

Некоторые советы будут высоко оценены. Общая лекция о предшествующем и последующем распространении также не повредит (у меня есть смутное понимание того, что они, но только расплывчатые). Также имейте в виду, что я не очень продвинутый статистик (на самом деле я политолог по своей основной профессии), поэтому продвинутая математика, вероятно, пролетит над моей головой.

Позвольте мне сначала объяснить, что такое сопряженный предшественник . Затем я объясню байесовский анализ на вашем конкретном примере. Байесовская статистика включает следующие этапы:

1. Определите предыдущее распределение, которое включает в себя ваши субъективные представления о параметре (в вашем примере интересующий параметр - это доля левшей). Априор может быть «неинформативным» или «информативным» (но не существует априора, в котором нет информации, см. Обсуждение здесь ).
2. Соберите данные.
3. Обновите свое предыдущее распределение данными, используя теорему Байеса, чтобы получить апостериорное распределение. Последующее распределение - это распределение вероятностей, которое представляет ваши обновленные представления о параметре после просмотра данных.
4. Проанализируйте апостериорное распределение и суммируйте его (среднее значение, медиана, сд, квантили, ...).

Основой всей байесовской статистики является теорема Байеса, которая

В вашем случае вероятность является биномиальной. Если предшествующее и заднее распределение находятся в одной семье, то предшествующее и заднее распределение называются сопряженными . Бета-распределение является сопряженным предшествующим, потому что апостериорное также является бета-распределением. Мы говорим, что бета-распределение является сопряженным семейством для биномиальной вероятности. Сопряженный анализ удобен, но редко встречается в реальных задачах. В большинстве случаев апостериорное распределение должно быть найдено численно через MCMC (с использованием Stan, WinBUGS, OpenBUGS, JAGS, PyMC или какой-либо другой программы).

Если предыдущее распределение вероятностей не интегрируется с 1, оно называется неправильным априорным, если оно интегрируется с 1, оно называется надлежащим априорным. В большинстве случаев неправильный априор не представляет серьезной проблемы для байесовского анализа. Заднее распределение должно быть правильным, то есть заднее должно объединяться в 1.

Эти практические правила прямо следуют из природы процедуры байесовского анализа:

• Если априор неинформативен, апостериор очень сильно определяется данными (апостериор управляется данными)
• Если предшествующее является информативным, то заднее представляет собой смесь предшествующего и данных
• Чем более информативен предыдущий, тем больше данных вам нужно, чтобы «изменить» свои убеждения, так сказать, потому что апостериор очень сильно зависит от предшествующей информации
• Если у вас много данных, они будут преобладать в последнем распределении (они превзойдут предыдущие)

В этом посте можно найти отличный обзор некоторых возможных «информативных» и «неинформативных» априоров для бета-дистрибутива .

Допустим, ваша предыдущая бета-версия где - это доля левшей. Чтобы указать предыдущие параметры и , полезно знать среднее значение и дисперсию бета-распределения (например, если вы хотите, чтобы у вашего ранее было определенное среднее значение и дисперсия). Среднее значение равно . Таким образом, всякий раз, когда , среднее значение равно . Дисперсия бета-распределения: . Теперь удобно то, что вы можете думать о и$\mathrm{Beta}(\pi_{LH}| \alpha, \beta)$$\pi_{LH}$$\alpha$$\beta$$\bar{\pi}_{LH}=\alpha/(\alpha + \beta)$$\alpha =\beta$$0.5$$\frac{\alpha\beta}{(\alpha + \beta)^{2}(\alpha + \beta + 1)}$$\alpha$$\beta$как уже наблюдалось (псевдо-) данные, а именно -левши и -правши из (псевдо-) выборки размера . Распределение является равномерным (все значения одинаково вероятны) и является эквивалентом наблюдения двух человек из из которых один левша и один правша.$\alpha$$\beta$$n_{eq}=\alpha + \beta$$\mathrm{Beta}(\pi_{LH} |\alpha=1, \beta=1)$$\pi_{LH}$

Задним бета-распределением является просто где - размер выборки, а - количество левшей в выборке. Следовательно, заднее среднее значение равно . Таким образом, чтобы найти параметры апостериорного распределения бета, мы просто добавляем левшей к и правшей к . Задняя дисперсия$\mathrm{Beta}(z + \alpha, N - z +\beta)$$N$$z$$\pi_{LH}$$(z + \alpha)/(N + \alpha + \beta)$$z$$\alpha$$N-z$$\beta$$\frac{(z+\alpha)(N-z+\beta)}{(N+\alpha+\beta)^{2}(N + \alpha + \beta + 1)}$, Обратите внимание, что высокоинформативный априор также приводит к меньшей дисперсии апостериорного распределения (графики ниже хорошо иллюстрируют эту точку).

В вашем случае и а ваш предшествующий является униформой, которая неинформативна, поэтому . Следовательно, ваше последующее распределение - . Заднее среднее значение . Вот график, который показывает априорность, вероятность данных и апостериор$z=2$$N=18$$\alpha = \beta = 1$$Beta(3, 17)$$\bar{\pi}_{LH}=3/(3+17)=0.15$

Вы видите, что, поскольку ваше предыдущее распространение неинформативно, ваше последующее распространение полностью зависит от данных. Также нанесен интервал наибольшей плотности (ИЧР) для апостериорного распределения. Представьте, что вы помещаете свое заднее распределение в 2D-бассейн и начинаете заполнять водой, пока 95% распределения не окажется выше ватерлинии. Точки, где ватерлиния пересекается с задним распределением, составляют 95% -HDI. Каждая точка внутри ИЧР имеет более высокую вероятность, чем любая точка за ее пределами. Кроме того, ИЧР всегда включает в себя пик апостериорного распределения (то есть моды). ИЧР отличается от равноправного 95% вероятного интервала, где исключается 2,5% от каждого хвоста сзади (см. Здесь ).

Для вашего второго задания вас попросят включить информацию о том, что 5-20% населения являются левшами. Есть несколько способов сделать это. Самый простой способ - сказать, что предыдущее бета-распределение должно иметь среднее значение есть среднее значение и . Но как выбрать и предыдущего дистрибутива? Во-первых, вы хотите, чтобы среднее значение предыдущего распределения составляло для эквивалентного размера выборки . В более общем смысле, если вы хотите, чтобы у вашего предшествующего значения было среднее значение с размером , соответствующий$0.125$$0.05$$0.2$$\alpha$$\beta$$0.125$$n_{eq}$$m$$n_{eq}$$\alpha$и значения : и . Все, что вам осталось сделать сейчас, это выбрать размер который определяет, насколько вы уверены в своей предыдущей информации. Допустим, вы абсолютно уверены в своей предварительной информации и установите . Параметры вашего предыдущего дистрибутива: и . Апостериорное распределение равно со средним значением около что практически совпадает с предыдущим средним значением$\beta$$\alpha = mn_{eq}$$\beta = (1-m)n_{eq}$$n_{eq}$$n_{eq}=1000$$\alpha = 0.125\cdot 1000 = 125$$\beta = (1 - 0.125)\cdot 1000 = 875$$\mathrm{Beta}(127, 891)$$0.125$$0.125$, Предыдущая информация доминирует над задним (см. Следующий график):

Если вы менее уверены в предшествующей информации, вы можете установить вашего псевдосэмпла, скажем, , что дает и для вашего предыдущего бета-распределения. Апостериорное распределение со средним значением около . Заднее среднее теперь близко к среднему значению ваших данных ( ), потому что данные превосходят предыдущие. Вот график, показывающий ситуацию:$n_{eq}$$10$$\alpha=1.25$$\beta=8.75$$\mathrm{Beta}(3.25, 24.75)$$0.116$$0.111$

Более продвинутый метод включения предыдущей информации состоит в том, чтобы сказать, что квантиль вашего предыдущего бета-распределения должен составлять около а квантиль - около . Это равносильно тому, что вы на 95% уверены, что доля левшей в популяции составляет от 5 до 20%. Функция в пакете R вычисляет соответствующие значения и для бета-распределения, соответствующего таким квантилям. Код$0.025$$0.05$$0.975$$0.2$beta.selectLearnBayes$\alpha$$\beta$

library(LearnBayes)

quantile1=list(p=.025, x=0.05)     # the 2.5% quantile should be 0.05
quantile2=list(p=.975, x=0.2)      # the 97.5% quantile should be 0.2
beta.select(quantile1, quantile2)

[1]  7.61 59.13

Похоже, что бета-распределение с параметрами и обладает желаемыми свойствами. Предыдущее среднее значение составляет что близко к среднему значению ваших данных ( ). Опять же, это предварительное распределение включает в себя информацию о с эквивалентным размером выборки, примерно . Апостериорное распределение - это со средним значением что сопоставимо со средним значением предыдущего анализа с использованием высокоинформативного предыдущего. Вот соответствующий график:$\alpha = 7.61$$\beta=59.13$$7.61/(7.61 + 59.13)\approx 0.114$$0.111$$n_{eq}\approx 7.61+59.13 \approx 66.74$$\mathrm{Beta}(9.61, 75.13)$$0.113$$\mathrm{Beta}(125, 875)$

Смотрите также эту ссылку для краткого, но имхо хорошего обзора байесовских рассуждений и простого анализа. Более длинное введение для конъюгатного анализа, особенно для биномиальных данных, можно найти здесь . Общее введение в байесовское мышление можно найти здесь . Больше слайдов, касающихся аспектов статистики Байса, здесь .

Бета-распределение с = 1 и = 1 совпадает с равномерным распределением. Так что это на самом деле, униформа. Вы пытаетесь найти информацию о параметре распределения (в данном случае, процент левшей в группе людей). Формула Байеса гласит:$\alpha$$\beta$

$P(r|Y_{1,...,n})$ =$\frac{P(Y_{1,...,n}|r)*P(r)}{\int P(Y_{1,...,n}|\theta)*P(r)}$

который вы указали, пропорционален:

α ( Y 1 , . . . , П | г ) $P(r|Y_{1,...,n})$ $\propto$ $(Y_{1,...,n}|r)*P(r)$

Таким образом, в основном вы начинаете с вашего прежнего убеждения о доле левшей в группе (P (r), для которой вы используете унифицированную дистанцию), а затем рассматриваете данные, которые вы собираете, чтобы проинформировать своего предыдущего (биномиальное в этом случае. либо вы правша или левша, поэтому ). Биномиальное распределение имеет бета-сопряженный априор, что означает, что апостериорное распределениеР ( г | Y 1 , . . . $P(Y_{1,...,n}|r)$$P(r|Y_{1,...n})$распределение параметров после рассмотрения данных относится к тому же семейству, что и предыдущие. г здесь не неизвестно в конце концов. (и, честно говоря, это было до сбора данных. У нас есть довольно хорошее представление о доле левшей в обществе.) Вы получили как предыдущее распределение (ваше предположение о r), так и вы собрали данные и сложите их вместе. Позади - ваше новое предположение о распределении левшей после рассмотрения данных. Таким образом, вы берете вероятность данных и умножаете их на форму. Ожидаемое значение бета-дистрибутива (а именно это и есть постер) равно . Итак, когда вы начали, ваше предположение с = 1 и$\frac{\alpha}{\alpha+\beta}$$\alpha$$\beta$= 1 было то, что доля левшей в мире была . Теперь вы собрали данные, у которых 2 левши из 18. Вы вычислили апостериор. (все еще бета) Ваши значения и теперь отличаются, что меняет ваше представление о соотношении левшей и правшей. как это изменилось? α$\frac{1}{2}$$\alpha$$\beta$

В первой части вашего вопроса вам предлагается определить подходящий априор для "r". С биномиальными данными было бы разумно выбрать бета-дистрибутив. Потому что тогда апостериор будет бета. Равномерное распределение, являющееся частным случаем бета-версии, вы можете предварительно выбрать для «r» Равномерное распределение, позволяющее каждому возможному значению «r» быть равноправным

Во второй части вы предоставили информацию о предыдущем распространении «р».

С этим в ответе @ COOLSerdash даст вам правильные указания.

Спасибо за публикацию этого вопроса и COOLSerdash за правильный ответ.