Могут ли автоэнкодеры использоваться для контролируемого обучения?

Могут ли автоэнкодеры использоваться для контролируемого обучения без добавления выходного слоя ? Можем ли мы просто снабдить его каскадным вектором ввода-вывода для обучения и восстановить выводную часть из входной части при выполнении логического вывода? Выходная часть будет обрабатываться как пропущенные значения во время вывода, и будет применено некоторое вменение.

Одна такая статья, о которой я знаю, и которую я реализовал, - это обучение под наблюдением с использованием Ladder Networks . Я привожу здесь их описание модели:

Наш подход следует за Valpola (2015), который предложил лестничную сеть, где вспомогательной задачей является удаление шумов из представлений на каждом уровне модели. Структура модели представляет собой автоэнкодер с пропускаемыми соединениями от кодера к декодеру, и задача обучения аналогична задаче шумоподавления автоэнкодеров, но применяется к каждому слою, а не только к входам. Соединения с пропуском снимают давление для представления деталей на более высоких уровнях модели, потому что через пропускаемые соединения декодер может восстановить любые детали, отброшенные кодером.

Дальнейшие объяснения архитектуры см. В разделе «Деконструкция архитектуры лестничной сети», автор Yoshua Bengio.

Я вспоминаю, как читал статьи о таких системах, если я вас правильно понимаю, но не могу вспомнить названия на данный момент.

Идея состояла в том, чтобы использовать основанные на символах генеративные RNN, обучать их последовательностям, закодированным как «datadatadatadata | answer», а затем при подаче в «otherdatadata |» тогда он продолжит генерировать какой-то ожидаемый ответ.

Но, насколько я помню, это была просто изящная иллюстрация, поскольку, если у вас есть данные, чтобы что-то контролировать, то вы получите лучшие результаты обычными методами.