Оптимальное количество слоев в нейронной сети?

Как определить оптимальное количество слоев для создания при реализации нейронной сети (прямая связь, обратное распространение или RNN)?

neural-networks hidden-layers

— v01d
источник

В Pruningнейронных сетях есть метод , который используется только для этой же цели.

Обрезка производится по количеству скрытых слоев. Процесс очень похож на процесс обрезки деревьев решений. Процесс обрезки выполняется следующим образом:

Обучите большую, плотно связанную сеть со стандартным алгоритмом обучения
Изучите обученную сеть, чтобы оценить относительную важность весов
Удалить наименее важный вес
переобучить обрезанную сеть
Повторите шаги 2-4, пока не будете выполнены

Тем не менее, существует несколько оптимизированных методов обрезки нейронных сетей, и это также очень активная область исследований .

— Dawny33
источник

Симметричный подход - это общий «поиск по сетке», применяемый к архитектуре сети. Начните с малого (так быстро) и автоматически попробуйте большие архитектуры. Все это только грубая сила, хотя ...

— Эрик Платон

@EricPlaton +1 для поиска по сетке. Очень удобно при гипертонировании ML-алгоритмов. Но разве это не вычислительно очень интенсивно?

— Dawny33

Да, это дорого. Тем не менее, когда мы можем начать с малого, первые этапы могут пройти довольно быстро и дать лучшее представление о том, к чему стремиться.

— Эрик Платон

@EricPlaton «Grid Search» заслуживает отдельного ответа для своего собственного :)

— Dawny33

Я думал об этом, но тогда было бы два альтернативных и, возможно, «одинаково правильных» ответа ... Я подумал, что для читателя лучше всего составить ответ как один.

— Эрик Платон

Вы можете взглянуть на байесовскую оптимизацию гиперпараметров как на общий метод оптимизации потерь (или чего-либо еще) в зависимости от гиперпараметров. Но обратите внимание, что в целом, чем глубже ваша сеть, тем лучше, поэтому оптимизация потерь в зависимости от количества слоев не очень интересная вещь.

Поиск по сетке и немного здравого смысла (как выяснилось, увидев много примеров) должны быть вашей лучшей ставкой.

— кс сайз 'кс сайз'
источник