Обеспечивает ли MCMC выполнение детального баланса стационарное распределение?

12

Я предполагаю, что понимаю уравнение условия детального баланса, в котором говорится, что для вероятности перехода и стационарного распределения марковская цепь удовлетворяет подробному балансу, если $q$ $\pi$

q (x | y) π (y) = q (y | x) π (x),

$q(x|y)\pi(y)=q(y|x)\pi(x),$

это имеет больше смысла для меня, если я переформулирую это как:

\frac{q (x | y)}{q (y | x)} = \frac{π (x)}{π (y)} .

$\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}.$

По существу, вероятность перехода из состояния в состояние должна быть пропорциональна отношению их плотностей вероятностей. $x$ $y$

probability mcmc markov-process

— Майк Флинн
источник

10

Неверно, что MCMC, выполняющий детальный баланс, всегда дает стационарное распределение. Вам также нужно, чтобы процесс был эргодическим . Посмотрим почему:

Рассмотрим как состояние множества всех возможных состояний и идентифицируем его по индексу . В марковском процессе распределение развивается согласно $x$ $i$ $p_t(i)$

p_{t} (i) = \sum_{j} Ω_{j \to i} p_{t - 1} (j)

$p_t(i) = \sum_{j} \Omega_{j \rightarrow i} p_{t-1}(j)$

$\Omega_{j \rightarrow i}$ $q(x|y)$

Итак, у нас есть это

p_{t} (i) = \sum_{j} (Ω_{j \to i})^{t} p_{0} (j)

$p_t(i) = \sum_{j} (\Omega_{j \rightarrow i})^t p_{0}(j)$

$\Omega_{j \rightarrow i}$

$p_{0}(j)$

$\Omega$

$\pi$

$\pi$

Эргодичность подразумевает 1., детальное равновесие подразумевает 2., и поэтому оба формируют необходимое и достаточное условие асимптотической сходимости.

Почему детальный баланс подразумевает 2:

Начиная с

p (i) Ω_{i j} = Ω_{j i} p (j)

$p(i)\Omega_{ij} = \Omega_{ji} p(j)$

$j$

p (i) = \sum_{j} Ω_{j i} p (j)

$p(i) = \sum_{j}\Omega_{ji} p(j)$

$\sum_{j} \Omega_{ij} = 1$

Приведенное выше уравнение является определением собственного значения 1 (это легче увидеть, если написать его в векторном виде :)

1. v = Ω \cdot v

$1.v = \Omega\cdot v$

— Хорхе Лейтао
источник

ОП не спрашивает, является ли он уникальным или нет, он спрашивает, как MCMC с подробным балансом достаточно для получения инвариантной плотности вероятности.

— Gatsu

1

Первое предложение этого ответа звучит так: «Это неправда, что MCMC, выполняющий детальный баланс, всегда приводит к стационарному распределению». Итак, нет, подробного баланса недостаточно для получения и инвариантной плотности ... Как это не отвечает на вопрос?

— Хорхе Лейтао

0

Я думаю, что это так, потому что для неприводимого МК, если детальный баланс удовлетворен, он имеет уникальное стационарное распределение, но для того, чтобы он не зависел от исходного распределения, он также должен быть апериодическим.

В случае MCMC мы начинаем с точки данных, а затем предлагаем новую точку. Мы можем или не можем перейти к предложенной точке, то есть у нас есть автопетля, которая делает неприводимый MC апериодическим.

Теперь в силу удовлетворения DB он также имеет положительные рекуррентные состояния, т.е. среднее время возврата в состояния конечно. Таким образом, цепь, которую мы строим в MCMC, является неприводимой, апериодической и положительно повторяющейся, что означает, что она является эргодической цепью.

Мы знаем, что для неприводимой эргодической цепи существует стационарное распределение, которое является уникальным и не зависит от исходного распределения.

— Сиддхарт Шакья
источник