Понимание бета-конъюгата перед байесовским выводом о частоте

11

Ниже приведен отрывок из «Болстадского введения в байесовскую статистику» .

Для всех вас, экспертов, это может быть тривиально, но я не понимаю, как автор приходит к выводу, что нам не нужно делать какую-либо интеграцию для вычисления апостериорной вероятности для некоторого значения . Я понимаю второе выражение, которое представляет собой пропорциональность и откуда взяты все термины ( вероятность х Приор) . Кроме того, я понимаю, нам не нужно беспокоиться о знаменателе, поскольку только числитель прямо пропорционален. Но переходя к третьему уравнению , не забываем ли мы о знаменателе правила Байеса? Куда это делось? И значение, вычисляемое гамма-функциями, разве это не константа? Не исключают ли константы в теореме Байеса? $\pi$

— Дженна Майз
источник

5

Существует только одна возможная константа, а именно та, которая делает функцию плотностью вероятности.

— Сиань

10

Дело в том, что мы знаем, что апостериор пропорционален, и так получилось, что нам не нужно делать интегрирование, чтобы получить (постоянный) знаменатель, потому что мы признаем, что распределение с функцией плотности вероятности пропорционально (например, апостериорный) - это бета-версия. Поскольку нормализующая константа для такого бета-файла pdf равна , мы получаем задний pdf без интегрирования. И да, нормализующая константа в теореме Байеса - это константа (с учетом наблюдаемых данных и предполагаемого априора), такая же, как нормализующая константа для апостериорной плотности. $x^{\alpha-1} \times (1-x)^{\beta-1}$ $\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

— Бьерн
источник

8

Настройка

У вас есть эта модель: Плотности, для которых и, в частности, обратите внимание, что

\begin{aligned} p & \sim beta (α, β) \\ x | p & \sim binomial (n, p) \end{aligned}

$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$

f (p) = \frac{1}{B (α, β)} p^{α - 1} (1 - p)^{β - 1}

$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$

g (x | p) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$

\frac{1}{B (α, β)} = \frac{Γ (α + β)}{Γ (α) Γ (β)} .

$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$

Неявная версия

Теперь. Заднее распределение пропорционально априорному умноженному на вероятность . Мы можем игнорировать константы (то есть вещи, которые не являются ), давая: $f$ $g$ $p$

\begin{aligned} h (p | x) & \propto f (p) g (p | x) \\ = p^{α - 1} (1 - p)^{β - 1} p^{x} p^{n - x} \\ = p^{α + x - 1} (1 - p)^{β + n - x - 1} . \end{aligned}

$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$

Он имеет «форму» бета-распределения с параметрами и , и мы знаем, какой должна быть соответствующая нормализующая константа для бета-распределения с этими параметрами: . Или, с точки зрения гамма-функций, Другими словами, мы можем сделать немного лучше, чем пропорциональное отношение, без лишних усилий и перейти к равенству: $\alpha + x$ $\beta + n - x$ $1 / B(\alpha + x, \beta + n - x)$

\frac{1}{B (α + x, β + n - x)} = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} .

$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$

h (p | x) = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} .

$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$

Таким образом, можно использовать знания о структуре бета-распределения, чтобы легко восстановить выражение для апостериорного, а не проходить через некоторую грязную интеграцию и тому подобное.

Это как бы обходит полный апостериор, неявно отменяя нормализующие константы совместного распределения, что может сбивать с толку.

Явная версия

Вы могли бы также разобраться с процедурой, которая может быть более ясной.

Это на самом деле не так уж много дольше. Обратите внимание, что мы можем выразить совместное распределение как и предельное распределение как

\begin{aligned} f (p) g (x | p) = \frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

x

$x$

\begin{aligned} \int_{0}^{1} f (p) g (x | p) d p & = \frac{1}{B (α, β)} (\binom{n}{x}) \int_{0}^{1} p^{α + x - 1} (1 - p)^{β + n - x - 1} d p \\ = \frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n - x)} \end{aligned}

$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$

Таким образом, мы можем выразить апостериор, используя теорему Байеса, через это то же самое, что мы получили ранее.

\begin{aligned} h (p | x) & = \frac{f (p) g (x | p)}{\int_{0}^{1} f (p) g (x | p) d p} \\ = \frac{\frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1}}{\frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n)}} \\ = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

— jtobin
источник

7

Основные пометки

Чтобы сделать ответ, данный @ Björn, немного более явным и в то же время более общим, мы должны помнить, что мы пришли к теореме Байеса из

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Байес Терем)

где представляет наблюдаемые данные и наш неизвестный параметр, о котором мы хотели бы сделать вероятностные выводы - в случае вопроса параметр является неизвестной частотой . Давайте не будем сейчас волноваться, говорим ли мы о векторах или скалярах, чтобы все было просто. $X$ $\theta$ $\pi$

Маргинализация в непрерывном случае приводит к

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

где совместное распределение равно как мы видели выше. Это постоянная величина, поскольку после «интегрирования» параметра он зависит только от постоянных членов . $p(X,\theta)$ $likelihood \times prior$

Поэтому мы можем переформулировать теорему Байеса как

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ с $Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

и , таким образом , приходим к обычной форме пропорциональности из байесовской теоремы .

Приложение к проблеме рукой

Теперь мы готовы просто включить то, что мы знаем, поскольку в вопросе имеет вид $likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

где , и где собирает постоянные члены из вероятности бинома и бета до. $a' = a+y$ $b' = b+n-y$ $A = \frac{1}{B(a,b)}\binom{n}{y}$

Теперь мы можем использовать ответ, заданный @ Björn, чтобы найти, что это интегрирует с бета-функцией умноженной на совокупность постоянных членов так что $B(a',b')$ $A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

Обратите внимание, что любой постоянный член в совместном распределении всегда будет аннулирован, поскольку он будет появляться в знаменателе и знаменателе одновременно (см. Ответ @jtobin), поэтому нам действительно не нужно беспокоиться.

Таким образом, мы признаем, что наше апостериорное распределение на самом деле является бета-распределением, где мы можем просто обновить параметры априора и чтобы прийти к апостериорному. Вот почему бета-версия, предшествующая распространению, называется сопряженной . $a' = a+y$ $b' = b+n-y$

— ГУВ
источник

Это рассуждение похоже на неявную версию jtobin. Мы рассмотрим только те части вероятного времени до, которые содержат параметр, и собираем все остальное в константу нормализации. Таким образом, мы рассматриваем интеграцию только как последний шаг, который является законным, потому что константы отменяются, как показал jtobin в его явной версии.

— ГВР