Где теория графов в графических моделях?

29

Введение в графические модели описывает их как «... брак между теорией графов и теорией вероятностей».

Я получил часть теории вероятностей, но у меня возникли проблемы с пониманием того, куда именно подходит теория графов. Какие выводы из теории графов помогли углубить наше понимание распределения вероятностей и принятия решений в условиях неопределенности?

Я ищу конкретные примеры, помимо очевидного использования теоретико-графовой терминологии в PGM, таких как классификация PGM как «дерева», «двудольного» или «ненаправленного» и т. Д.

graphical-model graph-theory distributions

— Vimal
источник

33

В вероятностных графических моделях очень мало истинной математической теории графов, где под истинной математической теорией графов я подразумеваю доказательства клик, порядков вершин, теорем о минимальном сечении максимального потока и так далее. Даже такие фундаментальные вещи, как теорема Эйлера и лемма о рукопожатии, не используются, хотя я полагаю, что их можно было бы вызвать для проверки некоторого свойства компьютерного кода, используемого для обновления вероятностных оценок. Более того, вероятностные графические модели редко используют больше, чем подмножество классов графов, таких как мультиграфы. Теоремы о потоках в графах не используются в вероятностных графических моделях.

Если бы ученик А был экспертом по вероятности, но ничего не знал о теории графов, а ученик Б был экспертом по теории графов, но ничего не знал о вероятности, то А, несомненно, выучил бы и понял вероятностные графические модели быстрее, чем Б.

— Дэвид Дж. Аист
источник

8

В строгом смысле теория графов кажется слабо связанной с МПГ. Тем не менее, графовые алгоритмы пригодятся. PGM начинались с логического вывода сообщений, который является подмножеством общего класса алгоритмов передачи сообщений на графах (возможно, именно поэтому слово «графический» в них). Алгоритмы вырезания графиков широко используются для выведения случайных полей Маркова в компьютерном зрении; они основаны на результатах, аналогичных теореме Форда – Фулкерсона (максимальный поток равен минимальному срезу); Наиболее популярными алгоритмами, вероятно, являются Бойков-Колмогоров и IBFS.

Ссылки. [Murphy, 2012 , §22.6.3] описывает использование сокращений графиков для вывода MAP. См. Также [Колмогором и Забих, 2004 ; Бойков и др., PAMI 2001] , которые охватывают оптимизацию, а не моделирование.

— Роман Шаповалов
источник

Интересно отметить, что алгоритмы вырезания графа используются в MRF. Не могли бы вы указать ссылку? Основываясь на ответе Дэвида Сторка выше, кажется, что эти алгоритмы возникают из-за того, что теория графов была полезным инструментом моделирования, а не какой-то фундаментальной связи между теорией графов и МПГ.

— Вимал

Я добавил ссылки, как вы просили. Что касается вашего последнего утверждения, как мы можем отделить причины, то есть сказать, является ли это фундаментальным или нет?

— Роман Шаповалов

@ overrider не могли бы вы предоставить полные ссылки, чтобы документы можно было легко найти ..? Поиск в Google может привести людей к ссылкам, но также может привести к потере времени на ненужные результаты. Так что названия, издатели, названия журналов, ссылки и т. Д. - это хорошая вещь для добавления.

— Тим

2

Алгоритмы вырезания графика полезны в компьютерном зрении, но не вероятностные графические модели. Одной из проблем стереозрения является проблема соответствия: нахождение точек на изображении A соответствует точкам на изображении B. Можно построить график, в котором вершины соответствуют характерным точкам на двух изображениях, а график представляет все возможные соответствия. Тогда проблема нахождения «правильных» соответствий может быть поставлена как задача вырезания графа. В общих графических моделях такого применения нет, хотя я полагаю, что можно попытаться отобразить эту проблему компьютерного зрения на графических моделях.

— Дэвид Дж. Аист

2

@ DavidG.Stork Существуют и другие проблемы с компьютерным зрением, в которых срезы графиков применяются аналогичным образом: сегментация изображений, создание коллажей и т. Д., Поэтому подход достаточно общий. Эти проблемы могут быть естественным образом выражены в виде неориентированных графических моделей (хотя статьи не всегда делают это). Это позволяет использовать различные алгоритмы вывода MRF, а также подбор модели. С другой стороны, срезы графиков могут оптимизировать довольно большое подмножество MRF, поэтому они могут применяться вне поля зрения, например, для анализа социальных сетей (хотя сейчас я не могу вспомнить конкретные статьи).

— Роман Шаповалов

4

Была проведена некоторая работа по исследованию связи между простотой декодирования кодов контроля четности с низкой плотностью (что дает превосходные результаты, если вы считаете это вероятностным графом и применяете распространение Loopy Belief), и обхватом графика, образованного матрицей проверки четности , Эта связь с обхватом уходит корнями в то время, когда были изобретены LDPC [1], но в последнее десятилетие была проведена дальнейшая работа [2] [3] после того, как Mackay et al [4] раздельно открыли их, и их свойства заметили ,

Я часто вижу жемчужный комментарий о времени конвергенции распространения убеждений в зависимости от диаметра цитируемого графика. Но я не знаю какой-либо работы, рассматривающей диаметры графов в не-древовидных графах и какой эффект это имеет.

Р.Г. Галлагер. Коды проверки четности низкой плотности. MIT Press, 1963
И. Е. Бочарова, Ф. Хуг, Р. Йоханнессон, Б. Д. Кудряшов, Р. В. Сатюков. Новые коды проверки на четность с низкой плотностью с большими обхватами на основе гиперграфов. В книге «Теория информации» (ISIT), 2010 Международный симпозиум IEEE, стр. 819–823, 2010.
ТЦ Татиконда. Сходимость алгоритма сумм-произведений. В семинаре по теории информации, 2003. Труды. 2003 IEEE, стр. 222 - 225, 2003
Дэвид Джей Си Маккей и Р.М. Нил. Около Шеннона ограничивают производительность кодов проверки четности с низкой плотностью. Electronics Letters, 33 (6): 457–458, 1997.

— похлопывание
источник

3

Одним из успешных применений графовых алгоритмов к вероятностным графическим моделям является алгоритм Чоу-Лю . Он решает проблему нахождения оптимальной (древовидной) структуры графа и основан на алгоритме максимальных связующих деревьев (MST).

Совместная вероятность для графической модели дерева может быть записана как: Нормализованное логарифмическое правдоподобие можно записать следующим образом: где - это взаимная информация между и учетом эмпирического максимального правдоподобия (ML) распределение, которое подсчитывает, сколько раз узел находился в состоянии . Поскольку первый член не зависит от топологии

p (x | T) = \prod_{t \in V} p (x_{t}) \prod_{(s, t) \in E} \frac{p (x_{s}, x_{t})}{p (x_{s}) p (x_{t})}

$\begin{equation} p(x|T) = \prod_{t\in V} p(x_t) \prod_{(s,t) \in E} \frac{p(x_s, x_t)}{p(x_s)p(x_t)} \end{equation}$

\frac{1}{N} \log P (D | θ, T) = \sum_{t \in V} \sum_{k} p_{M L} (x_{t} = k) \log p_{M L} (x_{t} = k) + \sum_{(s, t) \in E} I (x_{s}; x_{t} | θ_{s t})

$\begin{equation} \frac{1}{N}\log P(D|\theta, T) = \sum_{t\in V}\sum_k p_{ML}(x_t=k) \log p_{ML}(x_t=k) + \sum_{(s,t)\in E} I(x_s; x_t|\theta_{st}) \end{equation}$

I (x_{s}; x_{t} | θ_{s t})

$I(x_s;x_t|\theta_{st})$

x_{s}

$x_s$

x_{t}

$x_t$

x

$x$

k

$k$

T

$T$ мы можем игнорировать это и сосредоточиться на максимизации второго слагаемого.

Логарифмическая правдоподобие максимизируется путем вычисления связующего дерева максимального веса, где веса ребер являются попарно взаимными информационными членами . Максимальный вес связующего дерева можно найти с помощью алгоритма Прима и алгоритм Крускала . $I(x_s;x_t|\theta_{st})$

— Вадим Смоляков
источник

Привет Вадим. Спасибо за ваш ответ. Как формулировка в терминах теории графов, это имеет смысл. Но это тоже можно рассматривать как проблему оптимизации. Суть вопроса заключалась в том, чтобы выяснить более фундаментальную связь. Например, задачу сортировки можно сформулировать как топологическую сортировку на графе, где узлами являются числа, а стрелками обозначено <= отношение. Но это не делает фундаментальной связи между алгоритмами сортировки и графов, верно?

— Вимал