Когда мне следует беспокоиться о парадоксе Джеффриса-Линдли в выборе байесовской модели?

Я рассматриваю большое (но конечное) пространство моделей различной сложности, которые я исследую с помощью RJMCMC . Приоритет вектора параметров для каждой модели достаточно информативен.

В каких случаях (если таковые имеются) я должен беспокоиться о парадоксе Джеффриса-Линдли в пользу более простых моделей, когда одна из более сложных моделей будет более подходящей?
Существуют ли простые примеры, освещающие проблемы парадокса при выборе байесовской модели?

Я прочитал несколько статей, а именно блог Сиане в и блог Эндрю Гельмана , но я до сих пор не совсем понимаю проблему.

— Джефф
источник

Я думаю, что вопросов слишком много, и они слишком четкие, чтобы на них можно было эффективно ответить.

— Джарадниеми

Спасибо за отзыв, @jaradniemi, я удалил вопрос "Должна ли процедура RJMCMC, которая эффективно возвращает вероятности апостериорной модели, отдавать предпочтение тем же моделям, что и DIC?"

— Джефф

Извините за неясность в моем блоге !

Примечание: я предоставил некоторую предысторию выбора модели Байеса и парадокса Джеффриса-Линдли в этом другом ответе на Кресте.

Парадокс Джеффриса-Линдли связан с выбором байесовской модели в том, что предельное правдоподобие становится бессмысленным, когда является конечной мерой (т. е. мерой с бесконечной массой), а не вероятностной мерой. Причина этой трудности заключается в том, что бесконечная масса делает и неразличимыми для любой положительной константы . В частности, Байесовский фактор не может использоваться и не должен использоваться, когда одна модель наделена «плоским» предшествующим уровнем.

m (x) = \int π (θ) f (x | θ) d θ

$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$

π

$\pi$

σ

$\sigma$

π

$\pi$

c π

$\mathfrak{c}\pi$

c

$\mathfrak{c}$

x \sim N (0, 1)

$x\sim\mathcal{N}(0,1)$

x \sim N (θ, 1)

$x\sim\mathcal{N}(\theta,1)$

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{\int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} π (θ) d θ}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$

π

$\pi$

N (0, τ^{2})

$\mathcal{N}(0,\tau^2)$

θ

$\theta$

τ

$\tau$

{\bar{x}}_{n}

$\bar{x}_n$

n

$n$

τ

$\tau$

n

$n$

π (θ) = c

$\pi(\theta)=\mathfrak{c}$

c

$\mathfrak{c}$

B_{12}

$\mathfrak{B}_{12}$

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} d θ} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \sqrt{2 π / n}}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$

c

$\mathfrak{c}$

Теперь, если ваши приоры информативны (и, следовательно, правильны), нет никаких причин для возникновения парадокса Джеффриса-Линдли. При достаточном количестве наблюдений фактор Байеса будет последовательно выбирать модель, которая генерирует данные. (Или, точнее, модель в наборе моделей, рассматриваемых для выбора модели, которая наиболее близка к «истинной» модели, которая генерировала данные.)

— Сиань
источник

Большое спасибо за ваш очень подробный ответ, Сиань! Ваш блог очень ясен (я многому научился из него), я просто немного не спешил в понимании этой конкретной проблемы!

— Джефф

На самом деле, мой блог оперирует крайне изменчивыми предположениями о предыстории и предпосылках, поэтому он, конечно, непонятен порой и для многих читателей!

— Сиань