Какова взаимосвязь между размером выборки и влиянием априора на заднюю?

17

Если у нас небольшой размер выборки, сильно ли повлияет предварительное распределение на последующее?

bayesian sample-size prior

5

Интуиция ясна: чем больше у вас данных, тем меньше вы должны полагаться на своих приоров. Не просто урок статистики, а урок жизни! ;)

— Лукас Рейс

27

Да. Апостериорное распределение для параметра заданном наборе данных можно записать в виде $\theta$ ${\bf X}$

п (θ | Икс) α \underset{L я К е L я час о о d}{\underset{⏟}{п (Икс | θ)}} \cdot \underset{п р я о р}{\underset{⏟}{п (θ)}}

$p(\theta | {\bf X}) \propto \underbrace{p({\bf X} | \theta)}_{{\rm likelihood}} \cdot \underbrace{p(\theta)}_{{\rm prior}}$

или, как это чаще всего отображается на шкале журнала,

журнал (п (θ | Икс)) знак равно с + L (θ; Икс) + журнал (п (θ))

$\log( p(\theta | {\bf X}) ) = c + L(\theta;{\bf X}) + \log(p(\theta))$

Логарифмическая вероятность, , масштабируется в зависимости от размера выборки , поскольку она является функцией данных, в то время как предыдущая плотность - нет. Следовательно, с увеличением размера выборки абсолютное значение увеличивается, в то время как остается фиксированным (для фиксированного значения ), таким образом, сумма $L(\theta;{\bf X}) = \log \left( p({\bf X}|\theta) \right)$ $L(\theta;{\bf X})$ $\log(p(\theta))$ $\theta$ становится сильнее под влиянием $L(\theta;{\bf X}) + \log(p(\theta))$ $L(\theta;{\bf X})$ при увеличении размера выборки.

Поэтому, чтобы прямо ответить на ваш вопрос - предварительное распределение становится все менее и менее актуальным, поскольку вероятность его перевешивает. Таким образом, для небольшого размера выборки предшествующее распределение играет гораздо большую роль. Это согласуется с интуицией, так как можно ожидать, что предыдущие спецификации будут играть большую роль, когда нет большого количества данных, чтобы их опровергнуть, тогда как, если размер выборки очень велик, сигнал, присутствующий в данных, перевесит любые априорные значения. убеждения были заложены в модель.

— макрос
источник

6

+1 Обратите внимание, что

также зависит от

.

c

$c$

n

$n$

20

Вот попытка проиллюстрировать последний абзац в превосходном (+1) ответе Макроса. Он показывает два априора для параметра в распределении . Для нескольких различных задние распределения показаны, когда наблюдается . В растет, оба апостериорные становятся все более и более сосредоточены вокруг . $p$ ${\rm Binomial}(n,p)$ $n$ $x=n/2$ $n$ $1/2$

$n=2$ $n=50$ разницы практически нет.

${\rm Beta(1/2,1/2)}$ ${\rm Beta(2,2)}$

Задние распределения

$n=50$

— MånsT
источник

4

Очень классные иллюстрации, @ MånsT. В вашем ответе я выделил курсивом слова «бета» и «бином» - надеюсь, вы не возражаете.

— Макро

Конечно нет, @Macro! Я согласен, что так выглядит лучше.

— MånsT