Нейронные архитектуры: автоматическое проектирование на основе данных

Недавний прогресс в нейронных сетях суммируется последовательностью новых архитектур, характеризующихся главным образом ее растущей сложностью проектирования. От LeNet5 (1994) до AlexNet (2012), Overfeat (2013) и GoogleLeNet / Inception (2014) и так далее ...

Есть ли попытка позволить машине решить / спроектировать, какую архитектуру использовать в зависимости от данных?

Вы также можете посмотреть литературу по нейроэволюции . Примеры:

• Заремба, Войцех. Илья Суцкевер. Рафаль Йозефович « Эмпирическое исследование рекуррентных сетевых архитектур. » (2015): использовал эволюционные вычисления, чтобы найти оптимальные структуры RNN.
• Франк Дернонкур. « Медиальная ретикулярная формация: нейронный субстрат для выбора действия? Оценка с помощью эволюционных вычислений ». Дипломная работа. École Normale Supérieure Ulm. 2011.
• Байер, Джастин, Даан Вьерстра, Юлиан Тогелиус и Юрген Шмидхубер. « Развивающиеся структуры клеток памяти для обучения последовательности ». В Международной конференции по искусственным нейронным сетям, с. 755-764. Springer Berlin Heidelberg, 2009 .: использовал эволюционные вычисления, чтобы найти оптимальные структуры RNN.

Усиление обучения:

• Фам, Хиеу, Мелоди Ю. Гуан, Баррет Зоф, Куок В. Ле и Джефф Дин. «Эффективный поиск нейронной архитектуры через разделение параметров». Препринт arXiv arXiv: 1802.03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Зоф, Баррет и Ле, Quoc V. Поиск нейронной архитектуры с обучением подкрепления. В ICLR, 2017. https://arxiv.org/abs/1611.01578
• Хосе М Альварес, Матье Зальцманн. Изучение числа нейронов в глубоких сетях. NIPS 2016. https://arxiv.org/abs/1611.06321

• Боуэн Бейкер, Открист Гупта, Нихил Найк, Рамеш Раскар. Проектирование нейросетевых архитектур с использованием обучения с подкреплением. https://arxiv.org/abs/1611.02167

• Баррет Зоф, Куок В. Ле. Поиск нейронной архитектуры с усиленным обучением. https://arxiv.org/abs/1611.01578

Разнообразный:

• Марчин Андрыхович, Миша Денил, Серхио Гомес, Мэтью У. Хоффман, Дэвид Пфау, Том Шаул, Брендан Шиллингфорд, Нандо де Фрейтас. Учимся учиться градиентным спуском градиентным спуском. https://arxiv.org/abs/1606.04474
• Франк Дернонкур, Джи Янг Ли Оптимизация гиперпараметров нейронной сети с помощью гауссовских процессов для классификации актов диалога , IEEE SLT 2016.
• Кортес, Коринна, Хави Гонсалво, Виталий Кузнецов, Мехриар Мохри и Скотт Ян. «AdaNet: адаптивное структурное обучение искусственных нейронных сетей». Препринт arXiv arXiv: 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : Подход, который изучает как структуру сети, так и ее вес.

Кажется, исследования движутся в таком направлении:

• Микони, Томас. « Нейронные сети с дифференцируемой структурой », arXiv (2016): автор вводит концепцию дифференцируемой структуры сети, чтобы включить ее в целевую функцию.

Google AutoML является одним из таких примеров. Он был успешно применен к набору данных ImageNet, в результате чего NASNet , который на момент написания этой статьи, превзошел все другие модели с точки зрения точности. Основная статья здесь:

Изучение переносимых архитектур для распознавания масштабируемых изображений - Zoph, et. и др.