Задний очень отличается от предыдущего и вероятности

Если априор и вероятность сильно отличаются друг от друга, то иногда возникает ситуация, когда апостериор не похож ни на один из них. Посмотрите, например, эту картинку, которая использует нормальные распределения.

Хотя это математически правильно, это, похоже, не соответствует моей интуиции - если данные не соответствуют моим убеждениям или данным, я бы не ожидал, что ни один из диапазонов не будет успешным, и не ожидал бы, что сплошная апостериора превысит весь диапазон или, возможно, бимодальное распределение вокруг априорной вероятности (я не уверен, что имеет более логичный смысл). Я, конечно, не ожидал бы жесткой апостериорности вокруг диапазона, который не соответствует ни моим предыдущим убеждениям, ни данным. Я понимаю, что по мере того, как будет собираться больше данных, апостериорные будут двигаться к вероятности, но в этой ситуации это кажется нелогичным.

Мой вопрос: как моё понимание этой ситуации некорректно (или неверно). Является ли задняя часть «правильной» функцией для этой ситуации. А если нет, как еще это может быть смоделировано?

Для полноты картины приоритет задается как а вероятность - как .$\mathcal{N}(\mu=1.5, \sigma=0.4)$$\mathcal{N}(\mu=6.1, \sigma=0.4)$

РЕДАКТИРОВАТЬ: Глядя на некоторые из ответов, я чувствую, что я не очень хорошо объяснил ситуацию. Моя точка зрения заключалась в том, что байесовский анализ, по-видимому, дает неинтуитивный результат с учетом допущений в модели. Я надеялся, что апостериор каким-то образом будет «учитывать», возможно, плохие модельные решения, что, если подумать, определенно не так. Я остановлюсь на этом в своем ответе.

Да, такая ситуация может возникнуть и является особенностью ваших предположений моделирования, в частности нормальности в предыдущей модели и модели выборки (вероятности). Если бы вместо этого вы выбрали распределение Коши для своего предыдущего, апостериор будет выглядеть совсем иначе.

prior = function(x) dcauchy(x, 1.5, 0.4)
like = function(x) dnorm(x,6.1,.4)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, 0, 8, col="red", axes=F, frame=T)
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

Я несколько не согласен с ответами, данными до сих пор - в этой ситуации нет ничего странного. В любом случае, вероятность асимптотически нормальна, и нормальный априор вовсе не редкость. Если вы соедините их вместе с тем фактом, что априор и вероятность не дают одинакового ответа, у нас возникает ситуация, о которой мы здесь говорим. Я изобразил это ниже с кодом от jaradniemi.

Мы упоминаем в 1, что нормальным выводом такого наблюдения было бы то, что либо а) модель является структурно неправильной б) данные неверны в) предварительные данные неверны. Но наверняка что-то не так, и вы также увидите это, если будете делать некоторые апостериорные проверки, которые вам все равно следует делать.

1 Хартиг, Ф .; Дайк, Дж .; Hickler, T .; Хиггинс, СИ; О'Хара, РБ; Scheiter, S. & Huth, A. (2012) Соединение динамических моделей растительности с данными - обратная перспектива. J. Biogeogr., 39, 2240-2252. http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2699.2012.02745.x/abstract

prior = function(x) dnorm(x,1,.3)
like = function(x) dnorm(x,-1,.3)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, -2, 2, col="red", axes=F, frame=T, ylim = c(0,2))
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

Я чувствую, что ответ, который я искал, когда дело дошло до этого вопроса, лучше всего резюмировал Лесаффр и Лоусон в Байесовской биостатистике

$$\frac{1}{\sigma^2} = w_{0} + w_{1}$$ $\mu$$\sigma$

Это обобщает для меня и в общих чертах обрисовывается в других ответах, что случай моделирования нормальных приоров с нормальной вероятностью может привести к ситуации, когда апостериум будет более точным, чем оба. Это нелогично, но является особым следствием моделирования этих элементов таким образом.

$X_1$$X_0$$\mu \sim N(1.6, 0.4^2)$$X_1 \sim N(\mu, 0.4^2)$$X_1$$X_1$$\sqrt{0.4^2 + 0.4^2}=0.56$$2\phi(-(6.1-1.6)/0.56)=9.3\cdot 10^{-16}$$\mu$

$X_0 \sim N(\mu,0.4^2)$$X_0$$X_0$$X_1$$|X_1-X_0|>6.1-1.6$

$X_0$$X_1$

Подумав немного об этом, я пришел к выводу, что при плохих модельных допущениях апостериор может быть результатом, который не согласуется ни с предыдущими убеждениями, ни с вероятностью. Отсюда естественный результат является задним это не , в общем, к концу анализа. Если это случай, когда апостериор должен приблизительно соответствовать данным или что он должен быть диффузным между предыдущим и вероятностью (в данном случае), то это должно быть проверено после факта, вероятно, с помощью апостериорно-прогнозирующей проверки или чего-то еще аналогичный. Казалось бы, для включения этого в модель требуется способность определять вероятности вероятностных утверждений, что я не считаю возможным.

Я думаю, что это действительно очень интересный вопрос. Выспавшись на нем, я думаю, что у меня есть удар в ответ. Ключевой вопрос заключается в следующем:

• Вы рассматривали вероятность как гауссовский pdf. Но это не распределение вероятностей - это вероятность! Более того, вы не четко обозначили свою ось. Эти вещи в совокупности запутали все, что следует.

$\mu$$\sigma$$P(\mu|\mu', \sigma')$$\mu'$$\sigma'$$P(X|\mu, \sigma)$$X$$P(\mu|X, \sigma, \mu', \sigma')$$\mu$

$\mu$$P(X|\mu)$

$\sigma'^2 = \sigma^2/N$$\sigma^2$$N$$X$

Итак, априор и вероятность одинаково информативны. Почему не задний бимодальный? Это из-за ваших предположений моделирования. Вы неявно предполагали нормальное распределение в способе, которым оно установлено (нормальное предшествующее, нормальное правдоподобие), и это ограничивает апостериорный, чтобы дать унимодальный ответ. Это просто свойство нормальных дистрибутивов, которые вы включили в проблему, используя их. Другая модель не обязательно сделала бы это. У меня есть ощущение (хотя сейчас у меня нет доказательств), что распределение Коши может иметь мультимодальную вероятность, и, следовательно, мультимодальную апостериорность.

Итак, мы должны быть унимодальными, а предварительная информация столь же информативна, как и вероятность. При этих ограничениях наиболее разумная оценка начинает звучать как точка, находящаяся непосредственно между вероятностью и предыдущим, поскольку у нас нет разумного способа определить, во что верить. Но почему задняя часть становится плотнее?

$\sigma$$\mu$$\sigma$$\sigma$$\sigma$$\mu$

(Способ визуализации может состоять в том, чтобы представить оценку среднего значения гауссиана с известной дисперсией, используя только две точки выборки. Если две точки выборки разделены на гораздо большую величину, чем ширина гауссианы (т.е. в хвостах), то это убедительное доказательство того, что среднее значение фактически лежит между ними. Сдвиг среднего значения от этой позиции приведет к экспоненциальному снижению вероятности того или иного образца.)

Таким образом, ситуация, которую вы описали, немного странная, и, используя модель, которая у вас есть, вы включили некоторые предположения (например, унимодальность) в проблему, о которой вы даже не подозревали. Но в остальном вывод верен.