Почему апостериорное распределение в байесовском выводе часто трудноразрешимо?

У меня проблемы с пониманием, почему байесовский вывод приводит к неразрешимым проблемам. Проблема часто объясняется так:

Я не понимаю, почему этот интеграл нужно оценивать в первую очередь: мне кажется, что результатом интеграла является просто нормализационная константа (как дан набор данных D). Почему нельзя просто вычислить апостериорное распределение как числитель правой части, а затем вывести эту нормировочную константу, потребовав, чтобы интеграл по апостериорному распределению был равен 1?

Что мне не хватает?

Благодарность!

bayesian inference

— Арни
источник

Для кого это может касаться: этот вопрос прямо по теме, потому что речь идет о статистике.

— Sycorax сообщает восстановить Monica

Выдержка плохо написана. Имейте в виде , что является не задним распределением; это безусловная вероятность данных (т. е. независимо от тета). Поскольку будет одинаковым для всех моделей, рассматриваемых для одного и того же набора данных, его не обязательно нужно вычислять. Если вы этого не сделаете, вам просто нужно изменить знак равенства на «пропорциональный» ( ).

P (D)

$P(\mathcal D)$

P (D)

$P(\mathcal D)$

\propto

$\propto$

— gung - Восстановить Монику

Не могли бы вы предоставить ссылку на этот слайд, поскольку я предполагаю, что он был написан кем-то другим?

— Сиань

Требование вычислить действительно возникает только при сравнении моделей (это иногда называют доказательством ). При рассмотрении одной модели числителя «достаточно» для определения апостериорного. Однако, если вы хотите рассчитать точечные оценки, такие как апостериорные ожидания или квантили, вы очень быстро обнаружите, что вам также нужен знаменатель.

p (D)

$p(\mathcal{D})$

— Сиань

В настоящее время мы проводим семинар по нормализации констант, где вы можете найти интересные записи для ответа на этот вопрос.

— Сиань

Ответы:

Почему нельзя просто вычислить апостериорное распределение как числитель правой части, а затем вывести эту нормировочную константу, потребовав, чтобы интеграл по апостериорному распределению был равен 1?

Это именно то, что делается. Апостериорное распределение

п (θ | D) знак равно \frac{п (D | θ) п (θ)}{п (D)},

$P(\theta|D) = \dfrac{p(D|\theta) \, P(\theta)}{P(D)}.$

Числитель с правой стороны - это . Это функция над и, чтобы быть распределением вероятностей, она должна интегрироваться в 1. Таким образом, нам нужно найти постоянную , такую, что $P(D|\theta)P(\theta)$ $\theta$ $c$

\begin{aligned} \int_{θ} с п (D | θ) п (θ) d θ знак равно 1 \\ \Rightarrow & \int_{θ} с п (D, θ) d θ знак равно 1 \\ \Rightarrow & с п (D) знак равно 1 \\ \Rightarrow & с знак равно \frac{1}{п (D)}, \end{aligned}

$\begin{align*} &\int_{\theta} cP(D|\theta) \, P(\theta)\, d\theta = 1\\ \Rightarrow & \int_{\theta} cP(D, \theta) \, d\theta = 1\\ \Rightarrow & cP(D) = 1\\ \Rightarrow& c = \dfrac{1}{P(D)}. \end{align*}$

Таким образом, нормализующей константой является которая часто неразрешима или явно сложна. $P(D)$

— Greenparker
источник

Еще один способ думать об этом: какой лучше? Вы должны посмотреть на все из них!

θ

$\theta$

— информационный

У меня такой же вопрос. Этот великий пост объясняет это очень хорошо.

В двух словах. Это неразрешимо, потому что знаменатель должен оценить вероятность для ВСЕХ возможных значений 𝜃; В большинстве интересных случаев ВСЕ это большое количество. В то время как числитель предназначен для единственной реализации 𝜃.

Смотрите уравнения 4-8 в посте. Скриншот ссылки:

— Arraval
источник