Разница между байесовской сетью, нейронной сетью, деревом решений и сетями Петри


30

В чем разница между нейронной сетью , байесовской сетью , деревом решений и сетями Петри , хотя все они являются графическими моделями и визуально отображают причинно-следственную связь.


1
Обратите внимание, что существуют также байесовские нейронные сети (просто чтобы сбить с толку), которые, насколько я могу видеть, представляют собой просто нейронную сеть с байесовской обработкой параметров.
ничего1

Ответы:


27

Вау, какой большой вопрос! Краткий вариант ответа заключается в том, что если вы можете представить две модели, используя схематически сходные визуальные представления, это не означает, что они даже структурно, функционально или философски связаны между собой дистанционно. Я не знаком с FCM или NF, но могу немного поговорить с другими.

Байесовская сеть

В байесовской сети график представляет условные зависимости различных переменных в модели. Каждый узел представляет переменную, а каждый направленный край представляет условное отношение. По сути, графическая модель представляет собой визуализацию правила цепочки.

Нейронная сеть

В нейронной сети каждый узел представляет собой симулированный «нейрон». Нейрон по существу включен или выключен, и его активация определяется линейной комбинацией значений каждого выхода в предыдущем «слое» сети.

Древо решений

Допустим, мы используем дерево решений для классификации. Дерево по существу предоставляет нам блок-схему, описывающую, как мы должны классифицировать наблюдение. Мы начинаем с корня дерева, и лист, на котором мы заканчиваем, определяет предсказываемую нами классификацию.

Как вы можете видеть, эти три модели в действительности не имеют ничего общего друг с другом, кроме того, что их можно представить с помощью прямоугольников и стрелок.


1
Теория в стороне, разве дерево решений не обрабатывает зависимости между переменными, выплевывая данные? Я новичок в области машинного обучения и больше заинтересован в интуитивном понимании того, какой алгоритм использовать в каком сценарии. Мне кажется, что вы использовали бы байесовскую сеть, когда знаете точные отношения между переменными, тогда как вы использовали бы дерево решений, когда предполагали, что некоторые переменные могут зависеть от других, но не знаете точно, какие из них. Хотелось бы знать, кажется ли это правильным или применимость байесовской сети и деревьев решений можно объяснить более подробно.
Дипак Агарвал

Я действительно думаю, что ответ должен указывать как на различия, так и на сходство, чтобы набросать общую картину, заявляя, что «эти три модели действительно не имеют ничего общего друг с другом», просто неправильно. Дерево решений и нейронные сети используют тот же дискриминационный подход, что и генеративный подход BN. В то время как другие два представляют функции, Байесовские сети представляют обобщенные функции (распределения), ...
Леяфар

1
Различение, которое вы здесь проводите, по сравнению с генеративным, неверно. Нейронные сети могут быть использованы для построения генеративных моделей. Рассмотрим GAN, например. Моего ответа достаточно, потому что вопрос сводится к тому, что «эти модели визуально представлены одинаково, означает ли это, что они структурно похожи?» и я объяснил, как эти графические представления кодируют очень разную информацию.
Дэвид Маркс

1
Не стесняйтесь добавлять свой собственный ответ.
Дэвид Маркс

2
@ Lejafar, не используйте правки, чтобы изменить содержание чужого ответа. Если вы не согласны с ответом, оставьте комментарий, понизьте голос или оставьте свой ответ.
gung - Восстановить Монику

5

Легко показать (см. Курс Дафни Коллер ), что логистическая регрессия является ограниченной версией условных случайных полей, которые являются неориентированными графическими моделями, в то время как байесовские сети являются ориентированными графическими моделями. Тогда Логистическая регрессия также может рассматриваться как однослойный персептрон. Это единственная связь (которая очень слабая), которую, я думаю, можно провести между байесовскими сетями и нейронными сетями.

Мне еще предстоит найти связь между другими концепциями, о которых вы спрашивали.


2
Добро пожаловать на сайт, и спасибо за этот вклад. Можете ли вы рассказать, как это легко увидеть? В настоящее время это просто утверждение, которое может быть неочевидным для людей. Информация может быть по ссылке, но мы хотим, чтобы эта тема оставалась информативной даже после того, как ссылка перестала работать.
gung - Восстановить Монику

Привет спасибо! Я не уверен, насколько точным должно быть объяснение (Дафне требуется не менее получаса, чтобы подготовить доказательство), и оно не слишком свежо для меня, но общая идея заключается в том, что логистическая модель является упрощенной версией Распределение Гиббса, которое в свою очередь является основой CRF.
Октавия-Мария Жулеа

1
Что значит CRF? Crf = условные случайные поля?
Тед Тейлор из Life

2

Отличный ответ @ Дэвид Маркс. Мне было интересно, в чем разница между деревом классификации / регрессии и байесовской сетью. Одна основывается на энтропии для классификации результатов на классы на основе разных предикторов, а другая строит графическую сеть, используя условную независимость и вероятностные оценки параметров.

Я чувствую, что методология построения байесовской сети отличается от дерева регрессии / принятия решений. Алгоритм структурного обучения, цели использования моделей, а также логические возможности моделей различны.

Подход, основанный на оценке и ограничении, может быть понят с некоторыми параллелями, проведенными с критериями получения информации в семействах дерева решений.


1

Сначала мы попытаемся сформулировать природу проблемы, которую пытались решить этими методами. Если задача прямая, полиномиальная или NP-полная, мы готовы включить алгоритмы, которые могут дать детерминированный ответ, путем простой рекомбинации аксиом по логическим правилам. Однако, если это не так, мы должны полагаться на метод рассуждения, при котором мы пытаемся рассматривать проблему как неоднородную и подключаем ее к сети, где узлы являются оценками, а границы - путями между компонентами. ,

При любом типе рассуждений, основанных на сети, мы не рассуждаем дедуктивно, используя абстрактные обобщения и комбинации, в соответствии с логическими правилами в линейном потоке, а скорее работаем над проблемой, основанной на распространении рассуждений в разных направлениях, так что мы решаем проблема по одному узлу за раз, открыта для улучшений при обнаружении новых фактов, касающихся любого узла в будущем. Теперь давайте посмотрим, как каждый из этих методов по-своему подходит к этому методу решения проблем.

Нейронная сеть: Нейронная сеть представляет собой черный ящик, где считается (никогда нельзя проверить извне системы), что соединения между простыми узлами формируются и подчеркиваются повторяющимися внешними подкреплениями. Это подходит к проблеме в парадигме Connectionsitic . Проблема, вероятно, решена, но мало объяснима. Нейронная сеть в настоящее время широко используется из-за ее способности давать быстрые результаты, если проблема с объяснением игнорируется.

Байесовская сеть: Байесовская сеть - это ориентированный ациклический граф, который больше похож на блок-схему, только в том, что блок-схема может иметь циклические циклы. Байесовская сеть, в отличие от блок-схемы, может иметь несколько начальных точек. Он в основном отслеживает распространение событий в нескольких неоднозначных точках, где событие вероятностно расходится между путями. Очевидно, что в любой данный момент в сети вероятность посещения этого узла зависит от общей вероятности предыдущих узлов. Байесовская сеть отличается от нейронной сети тем, что она является явным рассуждением, хотя она вероятностна и, следовательно, может иметь несколько устойчивых состояний, основанных на каждом шаге, который пересматривается и изменяется в рамках допустимых значений, подобно алгоритму. Это надежный способ вероятностного рассуждения, но он включает в себя кодирование вероятностей,

Деревья решений: Дерево решений снова представляет собой сеть, которая больше похожа на блок-схему, которая ближе к байесовской сети, чем нейронная сеть. Каждый узел имеет больше интеллекта, чем нейронная сеть, и разветвление может быть определено с помощью математических или вероятностных оценок. Решения представляют собой простые оценки, основанные на частотных распределениях вероятных событий, где решение является вероятностным. Однако в байесовских сетях решение основано на распространении «доказательств», указывающих на произошедшее событие, а не на непосредственное наблюдение самого события.

Пример Например, если бы мы должны были предсказать движение тигра-людоеда по некоторым гималайским деревням, который оказался на краю какого-то тигрового заповедника, мы могли бы смоделировать его на любом подходе следующим образом:

В дереве решений мы будем полагаться на экспертные оценки, будет ли тигр выбирать между открытыми полями или реками на последних. В байесовской сети мы отслеживаем тигра по меткам мопса, но рассуждаем таким образом, чтобы признать, что эти метки мопса могли быть такими же, как у какого-то другого тигра аналогичного размера, регулярно патрулирующего его территорию. Если мы хотим использовать нейронную сеть, нам придется многократно обучать модель, используя различные поведенческие особенности тигра в целом, такие как его предпочтение плавать, предпочтение покрытых областей над открытыми областями, его избегание обитания людей, чтобы позволить сети, как правило, рассуждать о том, какой путь может пройти тигр.


0

Что касается графических моделей, Петри Нет формализует поведение системы; тем, что он резко отличается от остальных упомянутых моделей, все из которых относятся к тому, как формируется суждение.

Стоит отметить, что большинство цитируемых имен обозначают довольно обширные концепции ИИ, которые часто объединяются: например, вы можете использовать нейронную сеть для построения дерева решений, в то время как сама нейронная сеть, как обсуждалось ранее, может зависеть от байесовского умозаключения.


-3

Хороший вопрос, и я задавал себе то же самое. Существует более двух видов нейронных сетей, и кажется, что предыдущий ответ касался конкурентного типа, тогда как байесовская сеть, похоже, имеет сходство с типом прямой связи, обратного распространения (FFBP), а не с конкурентным типом. На самом деле, я бы сказал, что байесовская сеть является обобщением FFBP. Таким образом, FFBP является типом байесовской сети и работает аналогичным образом.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.