Современные нейронные сети, которые строят свою собственную топологию

Ограничение стандартных алгоритмов нейронной сети (например, backprop) заключается в том, что вам необходимо принять решение о том, сколько скрытых слоев и нейронов на слой вы хотите. Как правило, скорость обучения и обобщения очень чувствительны к этому выбору. Это было причиной, почему алгоритмы нейронной сети, такие как каскадная корреляция , вызывают интерес. Он начинается с минимальной топологии (только единицы ввода и вывода) и набирает новые скрытые единицы в процессе обучения.

Алгоритм CC-NN был введен Фальманом в 1990 году, а рекуррентная версия - в 1991 году. Какие есть более поздние (после 1992 года) алгоритмы нейронной сети, которые начинаются с минимальной топологии?

Смежные вопросы

CogSci.SE: Нейронные сети с биологически вероятными объяснениями нейрогенеза

Неявный вопрос здесь заключается в том, как определить топологию / структуру нейронной сети или модели машинного обучения, чтобы модель была «подходящего размера» и не соответствовала / не соответствовала.

Со времени каскадной корреляции в 1990 году для этого сейчас существует целый ряд методов, многие из которых обладают гораздо лучшими статистическими или вычислительными свойствами:

• Повышение: тренируйте слабого ученика за раз, причем каждому слабому ученику дают переоцененный обучающий набор, чтобы он изучал вещи, которых не изучали прошлые ученики.
• Регулярность, вызывающая разреженность, например, лассо или автоматическое определение релевантности: начните с большой модели / сети и используйте регуляризатор, который побуждает ненужные блоки «выключаться», оставляя те, которые полезны, активными.
• Байесовские непараметрики: забудьте о поиске «правильного» размера модели. Просто используйте одну большую модель и будьте осторожны с регуляризацией / байесовским поведением, чтобы не перегружать. Например, нейронная сеть с бесконечным числом единиц и гауссовых априоров может быть получена как гауссовский процесс, который оказывается намного проще для обучения.
• Глубокое обучение: как отмечено в другом ответе, тренируйте глубокую сеть по одному слою за раз. Это фактически не решает проблему определения количества единиц на слой - часто это все еще устанавливается вручную или перекрестной проверкой.

Как насчет NeuroEvolution of Augmenting Topologies (NEAT) http://www.cs.ucf.edu/~kstanley/neat.html

Кажется, это работает для простых проблем, но невероятно медленно сходится.

Насколько я понимаю, вершиной сегодняшнего искусства является «Необучаемое обучение и глубокое обучение». вкратце: сеть обучается неконтролируемым образом, каждый уровень за раз:

• http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial
• http://www.youtube.com/watch?v=ZmNOAtZIgIk&feature=player_embedded

Уже было упоминание NEAT (Нейронная Эволюция с Дополнением Топологии). Есть успехи в этом, включая видообразование и HyperNEAT. HyperNEAT использует «мета» сеть для оптимизации взвешивания полностью связанного фенотипа. Это дает сети «пространственную осведомленность», которая неоценима при распознавании изображений и проблемах типа настольной игры. Вы не ограничены 2D также. Я использую его в 1D для анализа сигналов, и возможен 2D в восходящем направлении, но это требует больших затрат на обработку. Ищите документы Кена Стэнли, и есть группа на Yahoo. Если у вас есть проблема, которую можно устранить в сети, тогда NEAT и / или HyperNEAT вполне могут быть применимы.

Есть несколько недавних работ на эту тему: Р.П. Адамс, Х. Уоллах и Зубин Гахрамани. Изучение структуры глубоко разреженных графических моделей. Это немного за пределами обычного сообщества нейронных сетей и больше на стороне машинного обучения. В статье используется непараметрический байесовский вывод о структуре сети.