Каковы преимущества использования байесовской нейронной сети

Недавно я прочитал несколько статей о байесовской нейронной сети (BNN) [Neal, 1992] , [Neal, 2012] , которая дает вероятностное соотношение между входом и выходом в нейронной сети. Обучение такой нейронной сети происходит через MCMC, который отличается от традиционного алгоритма обратного распространения.

Мой вопрос: в чем преимущество использования такой нейронной сети? В частности, не могли бы вы привести некоторые примеры, которые лучше соответствуют BNN, а не NN?

Байесовские нейронные сети полезны для решения проблем в областях, где данных недостаточно, как способ предотвращения переобучения. Они часто бьют все другие методы в таких ситуациях. Примерами приложений являются молекулярная биология ( например, эта статья ) и медицинская диагностика (области, где данные часто поступают из дорогостоящих и трудоемких экспериментальных работ). На самом деле, байесовские сети универсально полезны и могут получить лучшие результаты для огромного числа задач, но их чрезвычайно трудно масштабировать до больших проблем.

Одним из преимуществ BNN над NN является то, что вы можете автоматически вычислять ошибку, связанную с вашими прогнозами, при работе с данными неизвестных целей. С BNN мы сейчас делаем байесовский вывод. Давайте определим наш BNN-прогноз как , где - функция NN, - ваши входные данные , - параметры NN, а x, t - входные данные и цели обучения. Это должно быть совместимо с синтаксисом, используемым Нилом в ссылках, предоставленных @forecaster. Затем мы можем вычислить стандартное отклонение апостериорного предиктивного распределения, которое я наивно использовал бы в качестве точности прогноза:ех'шсг(х')=$\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$$f$$x'$$ω$$\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$