Гарантирует ли алгоритм выборки Гиббса детальный баланс?

У меня есть высший авторитет ^1, что выборка Гиббса является частным случаем алгоритма Метрополиса-Гастингса для выборки Маркова с цепочкой Монте-Карло. Алгоритм MH всегда дает вероятность перехода с подробным свойством баланса; Я думаю, что Гиббс тоже должен. Так где же в следующем простом случае я ошибся?

Для целевого распределения $\pi(x, y)$ по двум дискретным (для простоты) переменным полные условные распределения:

$$\begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align}$$

Как я понимаю выборка Гиббса, вероятность перехода можно записать так:

$$Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1)$$

Вопрос в том, действительно ли но самое близкое, что я могу получить, это π ( y 1 , y 2 ) P r o b { ( y 1 , y 2

$$\pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) \to (y_1, y_2)\},$$ Это немного отличается и не предполагает детального баланса. Спасибо за любые мысли! $$\begin{align} \pi(y_1,y_2) Prob\{(y_1, y_2) & \to (x_1, x_2)\} \\ & = \pi(y_1, y_2) q_2(x_2; x_1) q_1(x_1; y_2) \\ & = \frac{\pi(x_1, x_2)}{\sum_z \pi(x_1,z)}\frac{\pi(x_1, y_2)}{\sum_z \pi(z, y_2)}\pi (y_1, y_2) \\ & = \pi(x_1, x_2) q_2(y_2; x_1) q_1(y_1; y_2) \end{align}$$

Вы попытались показать подробный баланс для цепи Маркова, который получен, рассматривая один переход цепи Маркова как «цикл Гиббса», где вы выбираете каждый компонент по очереди из его условного распределения. Для этой цепочки подробный баланс не выполняется. Дело скорее в том, что каждая выборка конкретного компонента из его условного распределения является переходом, который удовлетворяет детальному балансу. Было бы точнее сказать, что выборка Гиббса является частным случаем слегка обобщенного Метрополиса-Гастингса, когда вы чередуете несколько разных предложений. Более подробная информация приведена ниже.

Разметки не удовлетворяют подробному балансу

$X_1,X_2$

$$\begin{equation} \begin{array}{ccc} & X_2 = 0 & X_2 = 1 \\ X_1 = 0 & \frac{1}{3} & \frac{1}{3} \\ X_1 = 1 & 0 & \frac{1}{3} \end{array} \end{equation}$$ $X_1$$(0,0)$$(1,1)$$(0,0)$$(1,0)$$(1,1)$$(0,0)$$\frac{1}{4}$

Однако эта цепочка все еще имеет стационарное распределение, которое является правильным. Подробный баланс является достаточным, но не обязательным условием для достижения целевого распределения.

Компонентные ходы удовлетворяют подробному балансу

$(x_1,x_2)$$(y_1,y_2)$$x_2 \neq y_2$$x_2 = y_2$

$$\begin{equation} \pi(x_1,x_2) \mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2)) = \pi(x_1,x_2)\,p(y_1 \mid X_2 = x_2) = \pi(x_1,x_2) \, \frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)} \\ = \pi(y_1,x_2) \, \frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)} = \pi(y_1,x_2) \,p(x_1 \mid X_2 = x_2) = \pi(y_1,x_2) \mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2)). \end{equation}$$

How the component-wise moves are Metropolis-Hastings moves?

Sampling from the first component, our proposal distribution is the conditional distribution. (For all other components, we propose the current values with probability $1$). Considering a move from $(x_1, x_2)$ to $(y_1, y_2)$, the ratio of target probabilities is

$$\begin{equation} \frac{\pi(y_1,x_2)}{\pi(x_1,x_2)}. \end{equation}$$ But the ratio of proposal probabilities is $$\begin{equation} \frac{\mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2))}{\mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2))} = \frac{\frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)}}{\frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)}} = \frac{\pi(x_1,x_2)}{\pi(y_1,x_2)}. \end{equation}$$ So, the ratio of target probabilities and the ratio of proposal probabilities are reciprocals, and thus the acceptance probability will be $1$. In this sense, each of the moves in the Gibbs sampler are special cases of Metropolis-Hastings moves. However, the overall algorithm viewed in this light is a slight generalization of the typically presented Metropolis-Hastings algorithm in that you have alternate between different proposal distributions (one for each component of the target variable).