Есть ли домен, в котором байесовские сети превосходят нейронные сети?

Нейронные сети получают лучшие результаты в задачах Computer Vision (см. MNIST , ILSVRC , Kaggle Galaxy Challenge ). Кажется, они превосходят любой другой подход в Computer Vision. Но есть и другие задачи:

• Kaggle Molecular Activity Challenge
• Регрессия: предсказание Kaggle Rain , также 2-е место
• Возьмите и поднимите 2-е, а также третье место - определите движения рук по записям ЭЭГ

Я не слишком уверен в ASR (автоматическом распознавании речи) и машинном переводе, но я думаю, что я также слышал, что (повторяющиеся) нейронные сети (начинают) превосходить другие подходы.

В настоящее время я изучаю байесовские сети, и мне интересно, в каких случаях эти модели обычно применяются. Итак, мой вопрос:

Есть ли какая-то проблема / (Kaggle) конкуренция, где современным уровнем техники являются байесовские сети или, по крайней мере, очень похожие модели?

(Примечание: я также видел деревья решений , 2 , 3 , 4 , 5 , 6 , 7 выиграли в нескольких недавних испытаниях Kaggle)

Одна из областей, где часто используются байесовские подходы, - это необходимость интерпретации системы прогнозирования. Вы не хотите давать врачам нейронную сеть и говорить, что она на 95% точна. Вы скорее хотите объяснить предположения, которые делает ваш метод, а также процесс принятия решений, который использует метод.

Подобная область - когда у вас есть сильные предварительные знания предметной области и вы хотите использовать их в системе.

Байесовские сети и нейронные сети не исключают друг друга. Фактически, байесовские сети - это просто еще один термин для «ориентированной графической модели». Они могут быть очень полезны при проектировании целевых функций нейронных сетей. Ян Лекун указал на это здесь: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Один пример.

Вариационный авто кодировщик и производные являются ориентированными графическими моделями видаНейронные сети используются для реализации и приближения к его обратному: .p ( x | z ) q ( z | x ) ≈ p ( z | x

Отличные ответы уже.

Одна область, о которой я могу думать, и над которой я работаю, - это область аналитики клиентов .

Я должен понимать и прогнозировать действия и мотивы клиентов, чтобы информировать и предупреждать как службу поддержки, так и отдел маркетинга, а также команды роста.

Итак, здесь нейронные сети действительно хорошо справляются с прогнозированием оттока и т. Д. Но я нашел и предпочел стиль байесовских сетей, и вот причины, по которым он предпочтет:

1. У клиентов всегда есть образец. У них всегда есть причина действовать. И эта причина будет чем-то, что моя команда сделала для них, или они узнали сами. Итак, здесь все имеет приоритет, и на самом деле эта причина очень важна, поскольку она подпитывает большую часть решений, принимаемых клиентом.
2. Каждое движение со стороны клиента и команд роста в воронке маркетинга / продаж является следствием. Таким образом, предварительные знания жизненно важны, когда речь идет о преобразовании потенциального клиента в клиента.

Таким образом, концепция априора очень важна, когда дело доходит до аналитики клиентов, что делает концепцию байесовских сетей очень важной для этой области.

Предлагаемое обучение:

Байесовские методы для нейронных сетей

Байесовские сети в бизнес-аналитике

Иногда вы беспокоитесь об изменении результата так же, как и при прогнозировании результата.

Нейронная сеть, получающая достаточное количество обучающих данных, будет склонна лучше прогнозировать результат, но как только вы сможете предсказать результат, вы можете захотеть предсказать влияние внесения изменений в входные функции на результат.

Пример из реальной жизни, знание того, что у кого-то может случиться сердечный приступ, полезно, но возможность сказать ему, что если он перестанет делать ХХ, риск уменьшится на 30%, будет гораздо выгоднее.

Точно так же для удержания клиентов знание того, почему клиенты прекращают делать покупки у вас, стоит столько же, сколько и прогнозирование клиентов, которые могут прекратить делать покупки у вас.

Кроме того, более простая байесовская сеть, которая менее предсказывает, но приводит к большему количеству предпринимаемых действий, часто может оказаться лучше, чем более «правильная» байесовская сеть.

Самое большое преимущество байесовских сетей над нейронными сетями состоит в том, что они могут использоваться для причинного вывода. Эта отрасль имеет фундаментальное значение для статистики и машинного обучения, и Иудея Перл получила награду Тьюринга за это исследование.

Байесовские сети могут превзойти нейронные сети в небольших данных. Если предшествующая информация должным образом управляется через структуру сети, априоры и другие гиперпараметры, она может иметь преимущество над нейронными сетями. Нейронные сети, особенно те, которые имеют больше уровней, очень хорошо известны как жаждущие данных. Почти по определению много данных необходимо, чтобы правильно их обучить.

Я разместил эту ссылку на Reddit и получил много отзывов. Некоторые разместили свои ответы здесь, другие нет. Этот ответ должен суммировать сообщение Reddit. (Я сделал это вики-сообществом, чтобы я не получал за это очки)

• Автоматическое кодирование Байеса - это комбинация байесовской сети и нейронной сети. В статье байесовские Конволюционные нейронные сети с Бернулли приближенномом вариационных умозаключениями , кажется, идет в том же направлении.
• Выпадение: простой способ предотвратить переоснащение нейронных сетей - это пример того, как байесовские нейронные сети превосходят свой метод отсева (см. Раздел 6.4 «Сравнение с байесовскими нейронными сетями»)
• Изучение концепции на уровне человека с помощью вероятностной программной индукции представляет собой документ "о сети байесовской сети, которая выполняет однократную классификацию, которая превосходит нейронные сети" (в соответствии с trashacount12345 - я этого пока не проверял).
• Ян Лекан написал пост в Google+, в котором утверждает, что нейронные сети и вероятностные графические модели не являются ортогональными понятиями.

Байесовские сети являются предпочтительными для интерпретации генома. См., Например, эту диссертацию, обсуждающую вычислительные методы для интерпретации генома.

Я сделал небольшой пример для этого один раз. Исходя из этого, я думаю, что байесовские сети предпочтительнее, если вы хотите захватить дистрибутив, но ваш входной обучающий набор не очень хорошо охватывает дистрибутив. В таких случаях даже хорошо развитая нейронная сеть не сможет восстановить распределение.

Я категорически не согласен с тем, что нейронные сети лучше других учеников. На самом деле нейронные сети работают довольно плохо по сравнению с другими методами. Также не существует методологии, несмотря на некоторые советы по выбору параметров, которые часто делают случайно. Есть также парни, которые случайным образом говорят на форумах о том, как нейронные сети настолько хороши, не потому, что у них есть некоторые доказательства этого, а потому, что их привлекают модные и модные слова "нейронные". Они также очень нестабильны, Вы пробовали нейронную сеть для сравнения с xgboost? Я не буду пробовать какую-либо нейронную сеть, пока она не станет самоосознанной. Так что до тех пор счастливой нейронной сети :)