У меня складывается впечатление, что когда люди обращаются к сети «глубокого убеждения», это, по сути, нейронная сеть, но очень большая. Правильно ли это или сеть глубокого убеждения также подразумевает, что сам алгоритм отличается (т. Е. Нет нейронной сети с прямой связью, но, возможно, что-то с петлями обратной связи)?
Ответы:
«Нейронные сети» - это термин, обычно используемый для обозначения нейронных сетей с прямой связью. Глубокие нейронные сети - это нейронные сети с множеством уровней.
Сеть глубокого убеждения - это не то же самое, что глубокая нейронная сеть.
Как вы указали, сеть глубокого убеждения имеет ненаправленные связи между некоторыми уровнями. Это означает, что топология DNN и DBN различна по определению.
Ненаправленные слои в DBN называются ограниченными машинами Больцмана. Эти уровни можно обучать с использованием алгоритма обучения без присмотра (Contrastive Divergence), который очень быстр (Вот ссылка ! С подробностями).
Еще несколько комментариев:
Решения, полученные с использованием более глубоких нейронных сетей, соответствуют решениям, которые работают хуже, чем решения, полученные для сетей с 1 или 2 скрытыми слоями. По мере того как архитектура становится глубже, становится сложнее получить хорошее обобщение с использованием Deep NN.
В 2006 году Хинтон обнаружил, что гораздо более высокие результаты могут быть достигнуты в более глубоких архитектурах, когда каждый уровень (RBM) предварительно обучается с помощью алгоритма обучения без присмотра (Contrastive Divergence). Затем Сеть может быть обучена контролируемым образом с использованием обратного распространения для «точной настройки» весов.
Тем не менее, как отметил Дэвид: « сети глубокого убеждения имеют ненаправленные связи между двумя верхними уровнями, как в RBM », что отличается от стандартных нейронных сетей с прямой связью. В общем, основная проблема в DNN касается его обучения, которое, безусловно, более сложное, чем однослойный NN. (Я не работаю над NNs, это просто случилось, я недавно прочитал газету.)
Ссылка: 1. Глубокие нейронные сети для акустического моделирования в распознавании речи , Джеффри Хинтон, Ли Денг, Донг Ю, Джордж Даль, Абдель-Рахман Мохамед, Навдип Джайтли, Эндрю Сеньор, Винсент Ванхук, Патрик Нгуен, Тара Саинат и Брайан Кингсбери в журнале обработки сигналов IEEE [82] ноябрь 2012 г. ( ссылка на оригинальную статью в MSR )
Рад видеть комментарии Алекса здесь. Я объяснял людям, что DL - это типичная нейронная сеть. Там нет никакой разницы в схеме обучения. Более ранний ANN, написанный на c (70-е годы), имеет возможность настройки нескольких скрытых слоев. На самом деле я проверил, чтобы определить, улучшают ли точность скрытые слои. Количество слоев не отличает DL от ANN.
Я ненавижу такие условия маркетинга. Теперь у нас так много экспертов по DL, которые не знают, что DL на самом деле является ANN. Поскольку маркетинг настолько хорош и силен, люди считают, что мы много продвинулись в области машинного обучения. Но нет ничего нового!