Какова связь между иерархическими моделями, нейронными сетями, графическими моделями, байесовскими сетями?

34

Кажется, что все они представляют случайные величины узлами и (в) зависимости через (возможно, направленные) ребра. Мне особенно интересна точка зрения Байеса.

— cespinoza
источник

30

Байесовская сеть - это тип графической модели. Другой «большой» тип графической модели - марковское случайное поле (MRF). Графические модели используются для вывода, оценки и в целом для моделирования мира.

Термин иерархическая модель используется для обозначения многих вещей в разных областях.

Хотя нейронные сети поставляются с «графами», они обычно не кодируют информацию о зависимости, а узлы не представляют случайные величины. NN отличаются, потому что они являются дискриминационными. Популярные нейронные сети используются для классификации и регрессии.

Кевин Мерфи имеет отличное введение в эти темы, доступные здесь .

— carlosdc
источник

хорошая ссылка. ТНХ

— suncoolsu

1

Спасибо за ответ. Однако, как и у первоначального автора, мне также интересно, где многоуровневые / иерархические модели регрессии вписываются в эту картину. (Иерархическая , как определено здесь: en.wikipedia.org/wiki/Hierarchical_linear_modeling )

— Ян

но есть и генеративные модели нейронных сетей. RNNs, GAN и т. Д.

— Александр Решитко,

9

Как сказал @carlosdc , байесовская сеть - это тип графической модели (т. Е. Ориентированный ациклический граф (DAG), структура которого определяет набор свойств условной независимости). Иерархические байесовские модели также могут быть представлены как DAG; Иерархические наивные байесовские классификаторы для неопределенных данных , выполненные Bellazzi et al., Обеспечивают хорошее введение в классификацию с такими моделями. Что касается иерархических моделей, я думаю, что многие статьи можно найти, прибегая к помощи соответствующих ключевых слов; например, я нашел это:

Ч. Джексон, Н. Г. Бест и С. Ричардсон. Байесовские графические модели для регрессии на множественных наборах данных с разными переменными . Biostatistics (2008) 10 (2): 335-351.

У Майкла И. Джордана есть хороший учебник по графическим моделям с различными приложениями, основанными на факторной модели Скрытого Маркова в биоинформатике или обработке естественного языка. Его книгу « Обучение в графических моделях» (MIT Press, 1998) также стоит прочитать (есть применение ГМ для структурного моделирования с помощью кода BUGS , стр. 575-598).

— хл
источник

0

Нейронные сети не требуют априоров, но каждый скрытый узел (нейроны) нейронной сети можно рассматривать как CPD - шумное ИЛИ / И CPD для линейного узла - сигмоидальный CPD для логистического узла

Таким образом, нейронные сети можно рассматривать как несколько слоев скрытых узлов, каждый с линейным / сигмоидальным CPD

Класс Коллера по Coursera ИЛИ ее учебник должен быть хорошим справочником по типам CPD.

— Рагу
источник

Что означает CPD?

— ГВР