Могут ли полные условия определить совместное распределение?

Я слышал, что все полные условия (используемые в выборке Гиббса) могут определять совместное распределение. Но я не понимаю, почему и как. Или я не слышал? Спасибо!

distributions

— Тим
источник

Этот, казалось бы, простой вопрос глубже, чем кажется, и он ведет нас к теореме Хаммерсли-Клиффорда. Тот факт, что мы можем восстановить совместное распределение из полных условных выражений, делает возможным выборку Гиббса. Это может рассматриваться как неожиданный результат, если мы помним, что маргиналы не определяют совместное распределение.

Давайте посмотрим, что произойдет, если мы формально вычислим с хорошо известными определениями плотностей суставов, условных и маргинальных чисел. Поскольку Мы имеем

f_{X, Y} (x, y) = f_{X ∣ Y} (x ∣ y) f_{Y} (y) = f_{Y ∣ X} (y ∣ x) f_{X} (x),

$f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\,f_Y(y)=f_{Y\mid X}(y\mid x)\,f_X(x) \, ,$

И мы можем формально восстановить совместную плотность от полной условных делают

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y = \int \frac{f_{Y} (y)}{f_{X} (x)} d y = \frac{1}{f_{X} (x)},

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy = \int \frac{f_Y(y)}{f_X(x)}dy = \frac{1}{f_X(x)} \, ,$

f_{X, Y} (x, y) = \frac{f_{Y ∣ X} (y ∣ x)}{\int f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) d y} . (*)

$f_{X,Y}(x,y) = \frac{f_{Y\mid X}(y\mid x)}{\int f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y)\,dy} \, . \qquad (*)$

Проблема с этим формальным вычислением состоит в том, что он предполагает, что все вовлеченные объекты существуют.

X ∣ Y = y \sim Exp (y) and Y ∣ X = x \sim Exp (x) .

$X\mid Y=y\sim\text{Exp}(y) \qquad \text{and} \qquad Y\mid X=x\sim\text{Exp}(x) \, .$

f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) = x / y

$f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y) = x /y$

(*)

$(*)$

«Совместимые условные распределения», Барри С. Арнольд и С. Джеймс Пресс, журнал Американской статистической ассоциации, Vol. 84, № 405 (1989), с. 152-156.

Наконец, прочитайте обсуждение теоремы Хаммерсли-Клиффорда в книге Роберта и Казеллы

— Zen
источник

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

X

$X$

Y

$Y$

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

f_{Y}

$f_Y$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y}

$f_Y$

Y

$Y$

f_{Y ∣ X}

$f_{Y\mid X}$

Y

$Y$

X

$X$

f_{X ∣ Y}

$f_{X\mid Y}$

f_{Y ∣ X}

$f_{Y\mid X}$

f_{X, Y}

$f_{X,Y}$

(*)

$(*)$

В настоящее время я борюсь с той же проблемой. Меня немного смущает необходимость совместимых условных распределений, так как они никогда не упоминаются ни в одном (по крайней мере, в тех, что я читал) введениях в Gibbs Sampling. Или же потребность в совместимых условных распределениях выполняется только в том случае, если попытаться формально восстановить совместные распределения, например, с помощью (*). не аппроксимирует совместное распределение по выборке Гиббса?

— склингель

В обычной настройке выборки Гиббса, применяемой к статистической задаче, вы предполагаете, что совместное распределение вероятностей (апостериорное) существует, следовательно, полные условия, полученные из этого совместного распределения, совместимы. За пределами этого случая выборка Гиббса не имеет смысла.

— Сиань