В чем разница между (динамической) байесовской сетью и HMM?

Я читал, что HMM, Particle Filters и Kalman - особые случаи динамических байесовских сетей. Однако я знаю только HMM и не вижу разницы с динамическими байесовскими сетями.

Может кто-нибудь объяснить, пожалуйста?

Было бы неплохо, если бы ваш ответ мог быть похож на следующий, но для байесовских сетей:

Скрытые марковские модели

Скрытая марковская модель (HMM) представляет собой 5-кортеж : $\lambda = (S, O, A, B, \Pi)$

: набор состояний (например, «начало фонемы», «середина фонемы», «конец фонемы») $S \neq \emptyset$
: набор возможных наблюдений (аудиосигналы) $O \neq \emptyset$
Стохастическая матрица, которая дает вероятности перейти из состояния в состояние . $A \in \mathbb{R}^{|S| \times |S|}$ $(a_{ij})$ $i$ $j$
Стохастическая матрица, которая дает вероятности получить в состоянии наблюдение . $B \in \mathbb{R}^{|S| \times |O|}$ $(b_{kl})$ $k$ $l$
: Начальное распространение должно начаться в одном из состояний. $\Pi \in \mathbb{R}^{|S|}$

Обычно он отображается в виде ориентированного графа, где каждому узлу соответствует одно состояние а вероятности перехода обозначены на ребрах. $s \in S$

Скрытые марковские модели называются «скрытыми», поскольку текущее состояние скрыто. Алгоритмы должны угадывать это по наблюдениям и самой модели. Их называют «марковскими», потому что для следующего состояния имеет значение только текущее состояние.

Для HMM вы задаете фиксированную топологию (количество состояний, возможные ребра). Тогда есть 3 возможных задания

Оценка : с учетом HMM , насколько вероятно получить наблюдения (прямой алгоритм) $\lambda$ $o_1, \dots, o_t$
Декодирование : с учетом HMM и наблюдений , какова наиболее вероятная последовательность состояний (алгоритм Витерби) $\lambda$ $o_1, \dots, o_t$ $s_1, \dots, s_t$
Обучение : изучение : алгоритм Баума-Уэлча , который является частным случаем максимизации ожиданий. $A, B, \Pi$

Байесовские сети

Байесовские сети являются ориентированными ациклическими графами (DAG) . Узлы представляют собой случайные величины . Для каждого существует распределение вероятностей, которое обусловлено родителями : $G = (\mathcal{X}, \mathcal{E})$ $X \in \mathcal{X}$ $X$ $X$

P (X | parents (X))

$P(X|\text{parents}(X))$

Кажется, есть (пожалуйста, уточните) две задачи:

Вывод : учитывая некоторые переменные, получить наиболее вероятные значения других переменных. Точный вывод NP-сложен. Примерно, вы можете использовать MCMC.
Обучение : Как вы изучаете эти дистрибутивы, зависит от конкретной проблемы ( источник ):
- известная структура, полностью наблюдаемая: оценка максимального правдоподобия (MLE)
- известная структура, частично наблюдаемая: максимизация ожидания (EM) или цепь Маркова Монте-Карло (MCMC)
- неизвестная структура, полностью наблюдаемая: поиск в модельном пространстве
- неизвестная структура, частично наблюдаемая: EM + поиск в пространстве модели

Динамические байесовские сети

$t$ $t+1$

bayesian-networks pgm

— Мартин Тома
источник

1. Вы также можете узнать топологию HMM. 2. Делая вывод с BN, помимо запроса максимальных вероятностных оценок, вы также можете выбирать из распределений, оценивать вероятности или делать все, что вам позволяет теория вероятностей. 3. DBN - это просто BN, скопированный с течением времени, причем некоторые (не обязательно все) узлы связаны из прошлого в будущее. В этом смысле HMM - это простая DBN с двумя узлами в каждом временном интервале и одним из узлов, соединенных во времени.

— КТ.

Я спросил кого-то об этом, и они сказали: «HMM - это просто особые случаи динамических байесовских сетей, где каждый временной срез содержит одну скрытую переменную, зависящую от предыдущей, чтобы получить цепочку Маркова, и одно наблюдение, зависящее от каждой скрытой переменной. DBNs может иметь любую структуру, которая развивается со временем ".

— Ashley

Из аналогичного вопроса перекрестной проверки следует ответ @jerad :

HMM не эквивалентны DBN, а представляют собой особый случай DBN, в котором все состояние мира представлено одной скрытой переменной состояния. Другие модели в рамках DBN обобщают базовый HMM, допуская более скрытые переменные состояния (для множества разновидностей см. Вторую статью выше).

Наконец, нет, DBN не всегда дискретны. Например, линейные модели состояния Гаусса (фильтры Калмана) можно представить как непрерывно значимые HMM, часто используемые для отслеживания объектов в пространстве.

Я бы порекомендовал просмотреть эти две отличные обзорные статьи:

Зубин Гарамани. Введение в скрытые марковские модели и байесовские сети.

Динамические Байесовские Сети Кевина Мерфи

— Xboard
источник