Есть ли у бета-дистрибутива сопряженный априор

34

Я знаю, что бета-распределение сопряжено с биномиальным. Но что такое сопряженный до бета-версии? Спасибо.

beta-distribution conjugate-prior

25

Кажется, ты уже разочаровался в сопряженности. Просто для протокола, одна вещь, которую я видел, что люди делают (но не помню точно, где, извините), это репараметризация, подобная этой. Если $X_1,\dots,X_n$ условно определены, заданы $\alpha,\beta$ , что $X_i\mid\alpha,\beta\sim\mathrm{Beta}(\alpha,\beta)$ , помните, что

Е [{Икс}_{я} | α, β] знак равно \frac{α}{α + β} знак равно μ

$\mathbb{E}[X_i\mid\alpha,\beta]=\frac{\alpha}{\alpha+\beta} =: \mu$ и

В a р [{Икс}_{я} | α, β] знак равно \frac{α β}{(α + β)^{2} (α + β + 1)} знак равно σ^{2},

$\mathbb{Var}[X_i\mid\alpha,\beta] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} =: \sigma^2 \, .$ Следовательно, вы можетеперепараметризоватьвероятность в терминах

μ

$\mu$ и

σ^{2}

$\sigma^2$ и использовать в качестве предварительного

σ^{2} | μ ~ U [0, μ (1 - μ)] μ ~ U [0, 1],

$\sigma^2\mid\mu \sim \mathrm{U}[0,\mu(1-\mu)] \qquad \qquad \mu\sim\mathrm{U}[0,1] \, .$ Теперь вы готовы вычислить апостериор и изучить его вашим любимым вычислительным методом.

— Zen
источник

4

Нет, не MCMC это вещь! Квадратура это вещь! только 2 параметра - квадратура - это «золотой стандарт» для постеров небольших размеров, как по времени, так и по точности.

— probabilityislogic

3

Другой вариант - рассматривать

как меру точности и снова использовать

ψ = α + β

$\psi = \alpha + \beta$

как среднее. Это делается все время с помощью процессов Дирихле, и бета-дистрибутив является особым случаем. Так что, может быть, выбрасывать гамму или логарифмическую нормаль перед

и равномерно на

.

μ = \frac{α}{α + β}

$\mu = \frac{\alpha}{\alpha + \beta}$

ψ

$\psi$

μ

$\mu$

— парень

2

Конечно, это не сопряжено, верно?

— парень

3

Точно нет!

— Дзен

Привет @ Zen Я сейчас занимаюсь этой проблемой, но я новичок в Bayesian и не уверен, что понимаю идею. Я понял, что вы предлагаете найти

а затем используйте репараметризацию, но, конечно, это была не идея. Не могли бы вы помочь мне разобраться?

\int_{0}^{1} \frac{1}{μ (1 - μ} d μ

$\int_{0}^{1}{\frac{1}{\mu(1-\mu}}d\mu$

— Red Noise

23

Да, у него есть сопряженный предшественник в экспоненциальной семье. Рассмотрим три параметра семейства Для некоторых значенийэто интегрируемо, хотя я не совсем понял, какие (я считаю, чтоидолжны работать -соответствует независимым экспоненциальным распределениям, поэтому это определенно работает, и сопряженное обновление включает в себя увеличение

π (α, β | a, б, п) α {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{п} ехр (a α + б β),

$\pi(\alpha, \beta \mid a, b, p) \propto \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right).$

(a, b, p)

$(a, b, p)$

p \geq 0

$p \ge 0$

a < 0, b < 0

$a < 0, b < 0$

p = 0

$p = 0$

так что это предполагает, что

работает).

p

$p$

p > 0

$p > 0$

Проблема и, по крайней мере, одна из причин, по которой ее никто не использует, состоит в том, что то есть нормализующая константа не имеет закрытой формы.

\int_{0}^{\infty} \int_{0}^{\infty} {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{п} ехр (a α + б β) знак равно ?

$\int_0^\infty \int_0^\infty \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right) = ?$

— парень
источник

Ах. Это проблематично. В любом случае я собирался искать неинформативную версию предшествующего конъюгата, так что, похоже, я мог бы начать с одинаковых априорных значений двух параметров. Спасибо.

— Brash Equilibrium

Вам не нужно нормализовать это, если вы просто сравниваете вероятности ...

— Нил Г

Я думаю, что вы можете пропустить действие

в вашем выражении

. Вероятно, это должно быть

и т. Д.

p

$p$

\exp

$\exp$

p a α

$pa\alpha$

— Нил Г

@NeilG

в

, вам просто нужно выразить вещи через

вместо

. Выполнение

- это просто репарметризация, это ничего не меняет. Не уверен, что вы имеете в виду "просто сравнивая вероятности". Вы не можете реализовать сэмплер Гиббса с этим априором, не используя что-то вроде Метрополиса, которое убивает преимущество условной сопряженности, нормализующая константа зависит от

и

которые убивают, ставя априор перед ними или оценивая их методами вероятности и т. Д. .

p

$p$

\exp

$\exp$

\log Γ (\dots)

$\log \Gamma(\cdots)$

Γ (\dots)

$\Gamma(\cdots)$

p a α

$pa\alpha$

a

$a$

b

$b$

— парень

2

Интеграл @NeilG по

и

так как это случайные величины.

α

$\alpha$

β

$\beta$

— парень

9

В теории должна быть сопряжена перед для бета - распределения. Это потому что

бета-распределение является одним из экспоненциальных семейств распределений , и
в теории должна быть возможность вывести априор. См., Например, Википедию , лекцию Д. Блея об экспоненциальных семействах .

Однако вывод выглядит сложным, и процитировать Экспоненциальные семьи и сопряженные приоры Бушара-Кота

Важное наблюдение, которое следует сделать, заключается в том, что этот рецепт не всегда приводит к сопряженному априорному вычислению.

В соответствии с этим, в «Сборнике сопряженных априорных произведений» D Fink нет предварительного априорного распределения .

— TooTone
источник

3

Вывод не сложный - см. Мой ответ: mathoverflow.net/questions/63496/…

— Нил Г

3

Я не верю, что существует «стандартное» (т. Е. Экспоненциальное семейство) распределение, которое является сопряженным предшествующим для бета-распределения. Однако, если он существует, он должен быть двумерным.

Я понятия не имею об этом вопросе, но я нашел эту удобную сопряженную предыдущую карту, которая, кажется, подтверждает ваш ответ: johndcook.com/conjugate_prior_diagram.html

— Джастин Бозонье

Сопряженный априор входит в экспоненциальное семейство и имеет три параметра, а не два.

— Нил Г

1

@ Нил, ты определенно прав. Думаю, я должен был сказать, что он должен иметь как минимум два параметра.

-1: этот ответ явно неверен в утверждении, что «предшествующее сопряженное не существует в экспоненциальной семье», как показано в ответе выше ...

— Ян Кукацка

3

Роберт и Казелла (RC) описывают семейство сопряженных априорных значений бета-распределения в Примере 3.6 (стр. 71 - 75) своей книги « Введение в методы Монте-Карло в R» , Springer, 2010 г. Однако они цитируют результат, не цитируя источник.

$B(\alpha, \beta)$

π (α, β) α {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} {Икс}_{0}^{α} Y_{0}^{β}

$\pi(\alpha,\beta) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} x_0^{\alpha} y_0^{\beta}$

$\{\lambda, x_0, y_0\}$

π (α, β | Икс) α {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} (Икс {Икс}_{0})^{α} ((1 - Икс) Y_{0})^{β}, "

$\pi(\alpha,\beta \vert x) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} (xx_0)^{\alpha} ((1-x)y_0)^{\beta}."$

$\pi(\alpha,\beta \vert x)$ $x$

— user37239
источник

2

π (α, β) \propto {(\frac{Γ (α + β)}{Γ (α) Γ (β)})}^{λ + 1} (x x_{0})^{α - 1} {(y_{0} (1 - x))}^{β - 1}

$\pi(\alpha, \beta) \propto \left( \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \right)^{\lambda +1} (x x_0)^{\alpha-1} \left(y_0 (1-x) \right)^{\beta-1}$

1

Я скромно рекомендую, чтобы оригинальный постер обновлял пост, чтобы указать, что апостериорные данные в учебнике неверны, согласно комментарию Фреда Шоена (что легко проверяется).

— RMurphy