Ограниченная машина Больцмана: как она используется в машинном обучении?

21

Задний план:

Да, Restricted Boltzmann Machine (RBM) МОЖЕТ использоваться для инициации весов нейронной сети. Также он МОЖЕТ использоваться «послойным» способом для построения сети глубокого убеждения (то есть для обучения уровня на вершине -го уровня, а затем для обучения слой поверх слоя промыть и повторить ...) $n$ $(n-1)$ $n+1$ $n$ .

Относительно того, как использовать RBM, подробности можно найти в теме Хорошего учебного пособия по Ограниченным машинам Больцмана (RBM), где можно найти некоторые статьи и учебные пособия.

Мой вопрос будет:

Действительно ли RBM используется в промышленных или академических проектах?
Если да, то как и в каких проектах он используется?
Любая популярная библиотека (например, tennflow, Caffe, Theono и т. Д.) Предоставляет модуль RBM?

Спасибо, что поделился. Я хотел бы знать, действительно ли RBM полезен на практике.

— Билл Анкалагон черный
источник

2

RBM был одним из первых практических способов обучения / изучения глубокой сети, имеющей более одного или двух уровней. И сеть глубоких убеждений была предложена Джеффри Хинтоном, который, как я полагаю, считается одним из «отцов глубокого обучения», хотя, я думаю, Янн ЛеКун является другим главным «отцом» глубокого обучения, или, как мне кажется, именно так. Конечно, все было изобретено Юргеном Шмидхубером много лет назад :-)

Итак, УОК известны, потому что: 1. Один из первых способов глубокого обучения. 2. Джеффри Хинтон.

Однако на практике они, безусловно, используются и могут использоваться в научных исследованиях, поскольку многие люди пытаются найти какую-то уникальную нишу, в которой они могут быть экспертами, и быть всемирным экспертом в некоторых нишах в области УОКР ниша как любая другая. Однако на практике, в промышленности, хотя я не буду утверждать, что они никогда не используются, но они появляются крайне редко. Просто существует очень много очень стандартных методов, которые обучаются очень быстро и легко, таких как логистическая регрессия и обратные сверточные нейронные сети. Для неконтролируемых в настоящее время такие вещи, как GAN, действительно популярны.

— Хью Перкинс
источник

1

Можно использовать RBM для решения типичных проблем, возникающих при сборе данных (которые могут быть использованы, например, для обучения модели машинного обучения). К таким проблемам относятся несбалансированные наборы данных (в задаче классификации) или наборы данных с пропущенными значениями (значения некоторых функций неизвестны). В первом случае можно обучить RBM с данными из класса меньшинства и использовать его для генерации примеров для этого класса, тогда как во втором случае можно обучать RBM отдельно для каждого класса и раскрывать неизвестные значения признаков.

Другое типичное применение УОР - совместная фильтрация ( http://dl.acm.org/citation.cfm?id=1273596 ).

Что касается популярных библиотек, я думаю, что deeplearning4j является хорошим примером ( http://deeplearning4j.org ).

— Kostas
источник