Путаница, связанная с выборкой Гиббса

Я наткнулся на эту статью, где говорится, что в выборке Гиббса принимается каждый образец. Я немного смущен. Как получится, если каждый принятый образец сходится к стационарному распределению.

В общем Алгоритм Метрополиса мы принимаем как min (1, p (x *) / p (x)), где x * - точка выборки. Я предполагаю, что x * указывает нам на положение с высокой плотностью, поэтому мы движемся к целевому распределению. Следовательно, я полагаю, что он перемещается к целевому распределению после периода горения.

Однако в выборке Гиббса мы принимаем все, поэтому, даже если это может привести нас в другое место, как мы можем сказать, что оно сходится к стационарному / целевому распределению

Предположим , что мы имеем распределение . Мы не можем вычислить Z. В алгоритме Метрополиса мы используем термин чтобы включить распределение плюс нормализующая константа Z, которая аннулируется. Так нормально $p(\theta) = c(\theta)/Z$ $c(\theta^{new})/c(\theta^{old})$ $c(\theta)$

Но в выборке Гиббса, где мы используем распределение $c(\theta)$

Например, в документе http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf его дано

поэтому у нас нет точного условного распределения для выборки, у нас просто есть нечто, прямо пропорциональное условному распределению

введите описание изображения здесь

mcmc gibbs metropolis-hastings

— user34790
источник

Что бы произошло в Метрополис-Гастингсе, если бы всегда было равно 1?

p (x *) / p (x)

$p(x*)/p(x)$

— Glen_b

Ответы:

Когда мы используем алгоритм Метрополиса-Гастингса, мы должны вычислить коэффициент приемлемости и позволить случайной переменной тогда мы принимаем случайную величину, если .

α = min (1, \frac{p (x^{*})}{p (x)})

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$

U < α

$U<\alpha$

Тем не менее, в выборке Гиббса мы всегда исключаем случайную переменную, потому что нам не нужно вычислять коэффициент приемлемости (на самом деле, вы делаете это, но когда вы подключаете что-то, вы видите, что все сводится на нет, и коэффициент приемлемости равен и так ясно всегда меньше, чем и поэтому вы всегда принимаете). Тем не менее, вы также можете думать об этом интуитивно, когда в выборке Гиббса вы производите выборку из полных условных выражений, представляющих собой выражение закрытой формы, из которого мы можем производить выборку напрямую, и поэтому нет необходимости отбрасывать выборки, как в алгоритме Метрополиса-Гастингса, где мы не знаю, как сделать выборку (или обычно не распознает форму) . Надеюсь, это поможет! $\alpha=1$ $U$ $\alpha$ $p(x)$

введите описание изображения здесь

Я не понял, почему все отменяется. Хорошо, скажем, мы должны сделать выборку из распределения из 3 переменных. Поэтому, когда вы хотели сказать полное условие в выражении замкнутой формы, вы имеете в виду p (x1 | x2, x3) p (x2 | x1, x3) и p (x3 | x1, x2). Мой вопрос в случае выборки Гиббса, мы знаем условное распределение, полученное из фактического распределения p, из которого мы хотим произвести выборку. Это то, что ты имеешь в виду. В случае алгоритма Метрополиса мы не знаем p, но что-то вроде c такое, что p (x) = c (x) / Z ??

p (θ)

$p(\theta)$

— user34790

Предположим, мы начинаем со случайных значений переменных x1, x2 и x3, как мы можем сказать, что его стационарное распределение сходится с требуемым. Каковы критерии для этого?

— user34790

Предположим , у меня есть распределение . Я не знаю Z. Так как бы мне сделать выборку из используя выборку Гиббса

p (θ) = c (θ) / Z

$p(\theta) = c(\theta)/Z$

p (θ)

$p(\theta)$

— user34790

Я добавил доказательство выше того, почему это всегда одно. Чтобы использовать выборку Гиббса, вы должны знать, каковы полные условия.

Доказательство того, что коэффициент принятия равен 1 как опечатка, т.е. в знаменателе в средней и третьей части выражение для q должно иметь простое число z_i, так что в итоге вы получите P (простое число z_i | простое число z_i).

Alex

— user60803
источник