MCMC; Можем ли мы быть уверены, что у нас есть «чистый» и «достаточно большой» образец сзади? Как это может работать, если мы не?

Обращаясь к этой теме: Как бы вы объяснили Маркову цепь Монте-Карло (MCMC) непрофессионалу? ,

Я могу видеть, что это комбинация цепей Маркова и Монте-Карло: цепь Маркова создается с апостериорным в качестве инвариантного предельного распределения, а затем рисуются монте-карло (зависимые) из предельного распределения (= нашего апостериорного).

Допустим (я знаю, что я здесь упрощаю), что после шагов мы находимся в предельном распределении (*). $L$ $\Pi$

Цепь Маркова, являющаяся последовательностью случайных величин, дает последовательность , где - случайная величина, а - ограничивающая «случайная величина» '' из которого мы хотим попробовать. $X_1, X_2, \dots , X_L, \Pi, \Pi, \Pi, \dots \Pi$ $X_i$ $\Pi$

MCMC начинается с начального значения, то есть является случайной величиной со всей массой при этом одном значении . Если я буду использовать заглавные буквы для случайных величин и строчных букв для реализаций случайной величины, то MCMC дает мне последовательность . Таким образом, длина цепочки MCMC равна L + n. $X_1$ $x_1$ $x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$

[[* Примечание: заглавные буквы - это случайные величины (т. Е. Целая группа результатов), а маленькие - это результаты, т. Е. Одно конкретное значение. *]] $x$

Очевидно, только принадлежит моему «заднему» и для аппроксимации заднего «колодца» значение должно быть «достаточно большим». $\pi_i$ $n$

Если я описываю это , то у меня есть цепь MCMC длины , только имеют отношение к моему апостериорному приближению, и должно быть достаточно большим. $x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$ $N=L+n$ $\pi_1,\pi_2,\dots, \pi_n$ $n$

Если я включу некоторые из (т.е. реализации до того, как будет достигнуто инвариантное распределение) в вычисление аппроксимации апостериорного значения, то это будет «шумно». $x_i$

Я знаю длину цепи MCMC , но без знания , т. Е. Шага , на котором я уверен, что произвожу выборку из предельного распределения, я не могу быть уверен, что я не включил шум, и не могу быть уверенным в , размере моей выборки из предельного распределения, в частности, я не могу быть уверен, является ли она «достаточно большой». $N=L+n$ $L$ $n=N-L$

Итак, насколько я понял, это значение имеет решающее значение для качества аппроксимации апостериорного (исключение шума и большой выборки из него) $L$ .

Существуют ли способы найти разумную оценку для когда я применяю MCMC? $L$

(*) Я думаю, что в общем случае будет зависеть от начального значения . $L$ $x_1$

mcmc

— Сообщество
источник

TL DR; Вы не можете оценить так как . Таким образом, упрощающее предположение никогда не может быть действительно возможным. (Там может быть несколько случаев, когда это так, но не в общем мире MCMC). Однако вы можете решить, что сделает раннее смещение небольшим. $L$ $L = \infty$ $N$

По сути, ваш вопрос сводится к тому, «как мы можем оценить время выгорания?». Выгорание - это акт выбрасывания начальных образцов, потому что цепь Маркова не сходится. Существует множество диагностических средств MCMC, которые помогут вам оценить время «выгорания», с обзором можно ознакомиться здесь .

$L$ $L$ $L$

Теперь я перехожу к более техническим деталям вашего вопроса.

$L$ $L$ $L$ $\infty$ $L$

$L$ $L$

$L$ $N$ $X_1, X_2, X_3, \dots, X_N$ $L$ $L$ $\infty$ $\theta$

{\bar{θ}}_{N} = \frac{1}{N} \sum_{i = 1}^{N} X_{i} .

$\bar{\theta}_N = \dfrac{1}{N} \sum_{i=1}^{N}X_i.$

$N$ $L$

$N$ $\theta$

$(\bar{\theta}_N - \theta)$ $N \to \infty$

\sqrt{N} ({\bar{θ}}_{N} - θ) \overset{d}{\to} N_{p} (0, Σ),

$\sqrt{N}(\bar{\theta}_N - \theta) \overset{d}{\to} N_p(0, \Sigma),$

$\theta \in \mathbb{R}^p$ $\Sigma$

$\Sigma/N$

— Greenparker
источник

L

$L$

\infty

$\infty$

Σ / n

$\Sigma/n$

{\hat{θ}}_{N}

$\hat{\theta}_N$

Σ / N

$\Sigma/N$

{\bar{θ}}_{N}

$\bar{\theta}_N$

X_{1} \sim π

$X_1 \sim \pi$

{\bar{g}}_{n}

$\bar{g}_n$

X_{1} \sim π

$X_1 \sim \pi$

π

$\pi$