«Забывчивость» настоятеля в байесовской обстановке?

Хорошо известно, что по мере того, как у вас появляется больше доказательств (скажем, в виде большего для iid примеров), байесовский априор «забывается», и на большинство выводов влияют доказательства (или вероятность).$n$$n$

Это легко увидеть для различных конкретных случаев (например, Бернулли с бета-версией или других примеров), но есть ли способ увидеть это в общем случае с $x_1,\ldots,x_n \sim p(x|\mu)$ и какой-нибудь предшествующий $p(\mu)$ ?

РЕДАКТИРОВАТЬ: Я предполагаю, что это не может быть показано в общем случае для любого априора (например, априор точечной массы будет держать заднюю точку точечной массы). Но, возможно, существуют определенные условия, при которых априор забыт.

Вот вид «пути», о котором я думаю, чтобы показать что-то подобное:

Предположим, что пространство параметров равно , и пусть и - два априора, которые помещают ненулевую вероятностную массу на все . Итак, два апостериорных вычисления для каждого предыдущего значения составляют:$\Theta$q ( θ ) $p(\theta)$$q(\theta)$$\Theta$

$$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$$

и

$$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$$

Если вы разделите на (постеры), то получите:$p$$q$

$$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$$

Теперь я хотел бы изучить вышеуказанный термин, так как $n$ переходит в $\infty$ . В идеале это будет $1$ для определенной $\theta$ которая «имеет смысл» или какое-то другое хорошее поведение, но я не могу понять, как что-то показать там.

Просто грубый, но, надеюсь, интуитивно понятный ответ.

1. Посмотрите на это с точки зрения пространства журнала: где - константа, которая зависит от данных, но не от параметра, и где ваши вероятности предполагают наличие наблюдений. Следовательно, просто сконцентрируйтесь на части, которая определяет форму вашего апостериора, а именно на C n > 0 S n = - log P ( θ ) - n ∑ i = 1 log P

   $$-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$$ $C_n>0$ $$S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$$

2. Предположим , что существует такое , что . Это разумно для дискретных распределений.$D>0$$-\log P(\theta) \leq D$

3. Поскольку условия все положительные, «будет» расти (я пропускаю технические детали здесь). Но вклад предшествующего ограничен . Следовательно, доля, внесенная предшествующим фактором, которая составляет самое большее , монотонно уменьшается с каждым дополнительным наблюдением.$S_n$$D$$D/S_n$

Строгие доказательства, конечно, сталкиваются с техническими сложностями (и они могут быть очень сложными), но установка выше ИМХО является самой основной частью.

Я несколько озадачен тем, что должны означать утверждения «предшествующее забыто» и «на большинство выводов влияют доказательства». Я предполагаю, что вы имеете в виду, что по мере увеличения объема данных (последовательность) оценщика (ов) приближается к истинному значению параметра независимо от нашего предыдущего.

Предполагая некоторые условия регулярности формы апостериорного распределения, оценки Байеса являются последовательными и асимптотически несмещенными (см. Gelman et al, глава 4 ). Это означает, что при увеличении размера выборки оценка Байеса приближается к истинному значению параметра. Согласованность означает, что оценщик Байеса сходится по вероятности к истинному значению параметра, а асимптотическая беспристрастность означает, что, предполагая, что является истинным значением параметра,$\theta_0$

$$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$$

Сходимость не зависит от конкретной формы априора, а зависит только от того, что апостериорное распределение, полученное из априора и вероятность, удовлетворяют условиям регулярности.

Самое важное условие регулярности, упомянутое в Gelman et al., Состоит в том, что вероятность быть непрерывной функцией параметра, а истинное значение параметра находится внутри пространства параметров. Также, как вы заметили, апостериор должен быть ненулевым в открытой окрестности истинного значения истинного значения параметра. Обычно ваш предшествующий уровень должен быть ненулевым во всем пространстве параметров.