Когда марковские случайные поля экспоненциальные семейства?

В учебнике, графические моделях, экспоненциальная семье и вариационные умозаключениях , М. Иордане и М. Уэйнрайт обсуждается связь между экспоненциальными семействами и марковскими случайными полей (неориентированные графические моделями).

Я пытаюсь лучше понять отношения между ними с помощью следующих вопросов:

Все ли MRF являются членами Экспоненциальных семей?
Могут ли все члены из Экспоненциальных семей быть представлены как MRF?
Если MRF экспоненциальные семейства, то каковы хорошие примеры распределений одного типа, не включенных в другой ? $\neq$

Из того, что я понимаю в их учебнике (глава 3), Джордан и Уэйнрайт приводят следующий аргумент:

Скажем , у нас есть аа скалярную случайную величину X , которая следует некоторое распределение , и сделать независимые одинаково распределенные наблюдения , и мы хотим определить . $p$ $n$ $X^1, \ldots X^n$ $p$
Мы вычисляем эмпирические ожидания определенных функций $\phi_\alpha%$

$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ для всех $\alpha \in \mathcal{I}$

где каждый в некотором наборе индексирует функцию $\alpha$ $\mathcal{I}$ $\phi_\alpha: \mathcal{X} \rightarrow R$
Тогда, если мы заставим следующие два набора величин быть последовательными, то есть, чтобы соответствовать (чтобы идентифицировать ): $p$
- Ожидания достаточной статистики распределения $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$ $\phi$ $p$
- Ожидания при эмпирическом распределении

мы получаем недоопределенную проблему в том смысле, что существует много распределений , которые согласуются с наблюдениями. Поэтому нам нужен принцип выбора среди них (для идентификации ). $p$ $p$

Если мы используем принцип максимальной энтропии для устранения этой неопределенности, мы можем получить один : $p$

$\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ зависимости от для всех $E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$ $\alpha \in \mathcal{I}$

где этот принимает форму exp где представляет параметризацию распределения в экспоненциальной форме семейства. $p^*$ $p_\theta(x) \propto$ ${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$ $\theta \in R^d$

Другими словами, если мы

Приведите ожидания распределений в соответствие с ожиданиями при эмпирическом распределении
Используйте принцип максимальной энтропии, чтобы избавиться от неопределенности

$\rightarrow$ Мы получаем распределение экспоненциального семейства.

Однако это больше похоже на аргумент для введения экспоненциальных семейств, и (насколько я понимаю) не описывает отношения между MRF и exp. семьи. Я что-то пропустил?

mathematical-statistics graphical-model

— Амелио Васкес-Рейна
источник

Я думаю, что здесь есть некоторая путаница: [MRF] ( en.wikipedia.org/wiki/Markov_random_field ) определяются не в соответствии с принципом максимальной энтропии, а сами по себе, потому что плотность факторизована в соответствии с кликами граф. MRF являются экспоненциальными семействами благодаря их логарифмическому представлению.

— Сиань

Спасибо @ Сиань. Эта часть « MRF определяется тем фактом, что плотность факторизована в соответствии с кликами графика », как я всегда думал, определяет MRF. Но почему это свойство делает все MRF частью экспоненциальных семейств? И каковы примеры (если таковые имеются) одного типа (MRFs или exp. Family), которые не являются членами другого типа?

— Амелио Васкес-Рейна

Я не уверен, сколько это добавит для вас, но одна вещь, которая может прояснить это, - это чтение оригинальной формулировки распределений Гиббса и MRF в этой статье Geman и Geman. По сути, вся идея состоит в том, чтобы смоделировать что-то с распределением Больцмана (exp до минус что-то), а затем спросить, как что-то факторизуется. Из-за этого способа описания может быть более очевидной их связь с экспоненциальными семействами.

— Илай

Экспоненциальные семейства определяются тем фактом, что логарифмическая плотность по существу является скалярным произведением векторной функции наблюдений и векторной функции параметров. В этом определении нет графической структуры. MRF также включают в себя график, который определяет клики, окрестности и т. Д. Следовательно, MRF - это экспоненциальные семейства с добавленной структурой - графом.

— Сиань

Я предполагаю, что путаница в противоречивых комментариях / ответах сводится к тому, разрешено ли вам вводить факторы, которые не являются линейными относительно их параметров.

— Ярослав Булатов

Вы совершенно правы - аргумент, который вы привели, связывает экспоненциальное семейство с принципом максимальной энтропии, но не имеет ничего общего с MRF.

Чтобы ответить на три ваших начальных вопроса:

Могут ли все члены из Экспоненциальных семей быть представлены как MRF?

Да. Фактически, любая функция плотности или массы может быть представлена как MRF! Согласно Википедии [1], MRF определяется как набор случайных величин, которые являются марковскими относительно неориентированного графа. Эквивалентно, совместное распределение переменных можно записать с помощью следующей факторизации: где - множество максимальные клики в . Из этого определения вы можете видеть, что полностью связанный граф, хотя и совершенно неинформативен, согласуется с любым распределением.

P (X = x) = \prod_{C \in c l (G)} ϕ_{C} (X_{C} = x_{C})

$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$

c l (G)

$cl(G)$

G

$G$

Все ли MRF являются членами Экспоненциальных семей?

Нет. Поскольку все распределения могут быть представлены как MRF (и не все распределения принадлежат экспоненциальному семейству), должны быть некоторые «члены MRF», которые не являются экспоненциальными членами семьи. Тем не менее, это совершенно естественный вопрос - кажется, что подавляющее большинство MRF, которые люди используют на практике, экспоненциальными семейными распределениями. Все конечно-доменные дискретные MRF и гауссовы MRF являются членами экспоненциального семейства. Фактически, поскольку продукты распределений экспоненциального семейства также находятся в экспоненциальном семействе, совместное распределение любого MRF, в котором каждая потенциальная функция имеет форму (ненормализованного) экспоненциального члена семейства, само будет находиться в экспоненциальном семействе. $are$

Если MRFs Экспоненциальные семейства, каковы хорошие примеры распределений одного типа, не включенных в другой? $\neq$

Распределения смесей являются распространенными примерами неэкспоненциальных распределений семейства. Рассмотрим линейную модель пространства состояний Гаусса (как скрытую марковскую модель, но с непрерывными скрытыми состояниями и гауссовым распределением переходов и излучений). Если вы замените ядро перехода смесью гауссианов, полученное в результате распределение больше не будет экспоненциальным семейством (но оно все же сохранит богатую структуру условной независимости, характерную для практических графических моделей).

[1] http://en.wikipedia.org/wiki/Markov_random_field

— Нарисовался
источник