Как получить выборку Гиббса?

Я на самом деле стесняюсь спросить об этом, потому что боюсь, что меня будут перенаправлять на другие вопросы или на Википедию о выборке Гиббса, но у меня нет ощущения, что они описывают то, что под рукой.

При заданной условной вероятности : $p(x|y)$

\begin{array}{ccc} p (x | y) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{4} & \frac{2}{6} \\ x = x_{1} & \frac{3}{4} & \frac{4}{6} \end{array}

$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$

И условная вероятность : $p(y|x)$

\begin{array}{ccc} p (y | x) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{3} & \frac{2}{3} \\ x = x_{1} & \frac{3}{7} & \frac{4}{7} \end{array}

$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$

Мы можем однозначно придумать совместную вероятность : $f_{unique}=p(x,y)$

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & a_{0} & a_{1} & c_{0} \\ x = x_{1} & a_{2} & a_{3} & c_{1} \\ p (y) & b_{0} & b_{1} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$

Потому что, хотя у нас есть неизвестных, у нас есть больше ( ) линейных уравнений: $8$ $4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

Также как и:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

Это быстро решается с помощью , . А именно, приравнивая к . Это дает а остальное следует. $c_0=\tfrac{3}{4}b_0$ $\tfrac{2}{3}c_0=a_1$ $\tfrac{2}{4}b_0=a_1$ $\tfrac{2}{6}(1-b_0)=a_1$ $b_0=\tfrac{2}{5}$

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & \frac{1}{10} & \frac{2}{10} & \frac{3}{10} \\ x = x_{1} & \frac{3}{10} & \frac{4}{10} & \frac{7}{10} \\ p (y) & \frac{4}{10} & \frac{6}{10} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$

Итак, теперь мы переходим к непрерывному случаю. Можно вообразить интервалы и держать вышеупомянутую структуру в такте (с большим количеством уравнений, чем неизвестных). Однако что происходит, когда мы переходим к (точечным) экземплярам случайных величин? Как работает выборка

x_{a} \sim p (x | y = y_{b}) y_{b} \sim p (y | x = x_{a})

$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$

итеративно, привести к ? Эквивалентно ограничению , как это обеспечивает например? Аналогично с . Можем ли мы записать ограничения и извлечь выборку Гиббса из первых принципов? $p(x,y)$ $a_0 + a_1 + a_2 + a_3=1$ $\int_X \int_Y p(x,y) dy dx = 1$ $\int_Y p(y|x)dy=1$

Итак, меня не интересует, как выполнить выборку Гиббса, что просто, но меня интересует, как ее получить и, предпочтительно, как доказать, что она работает (вероятно, при определенных условиях).

sampling mcmc gibbs

— Энн ван Россум
источник

Вычисление совместного распределения из условных распределений вообще очень сложно. Если условные распределения выбираются произвольно, общее совместное распределение может даже не существовать. В этом случае даже показать, что условные распределения согласованы, как правило, сложно. Одним из результатов, который можно использовать для получения совместного распределения, является лемма Брука , выбрав фиксированное состояние , хотя я никогда не использовал его самостоятельно для этой цели. Более подробно на эту тему я бы посмотрел на работу Джулиана Бесага.

\frac{p (x)}{p (x^{'})} = \prod_{i} \frac{p (x_{i} ∣ x_{< i}, x_{> i}^{'})}{p (x_{i}^{'} ∣ x_{< i}, x_{> i}^{'})},

$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$

x^{'}

$\mathbf{x}'$

Однако, чтобы доказать, что выборка Гиббса работает, лучше выбрать другой маршрут. Если цепь Маркова, реализованная алгоритмом выборки, имеет распределение качестве инвариантного распределения и является неприводимым и апериодическим , то цепь Маркова будет сходиться к этому распределению (Tierney, 1994) . $p$

Выборка Гиббса всегда оставляет инвариант совместного распределения, из которого были получены условные распределения: грубо, если и мы производим выборку , тогда $(x_0, y_0) \sim p(x_0, y_0)$ $x_1 \sim p(x_1 \mid y_0)$

(x_{1}, y_{0}) \sim \int p (x_{0}, y_{0}) p (x_{1} ∣ y_{0}) d x_{0} = p (x_{1} ∣ y_{0}) p (y_{0}) = p (x_{1}, y_{0}) .

$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$

То есть, обновление путем условной выборки не меняет распределение выборки. $x$

Однако выборка Гиббса не всегда неприводима . Несмотря на то, что мы всегда можем применить его, не нарушая ничего (в том смысле, что если у нас уже есть выборка из желаемого распределения, это не изменит распределение), то от совместного распределения зависит, действительно ли выборка Гиббса сходится к нему (достаточно просто Условием неприводимости является то, что плотность всюду положительна, ). $p(\mathbf{x}) > 0$

— Лукас
источник

Интересная проблема по совместимости. Сейчас я проверяю «Совместимость конечных дискретных условных распределений» (Song et al.), Которые используют «матрицу отношений» для установления совместимости и уникальности. Таким образом, Гиббс не может быть выведен из этих ограничений, потому что они не применяются с самого начала. Я могу предположить, что это могло бы возвратить некоторое неправильное совместное распределение (сумма> 1), если условные распределения несовместимы, например. Как-то, однако, у меня есть ощущение, что то, что я делаю, является чем-то детерминированным, чем-то похожим на преобразование Радона. Выборка Гиббса выглядит такой ... грязной.

— Энн ван Россум