Существуют ли опубликованные статьи, в которых показаны различия в методах регуляризации для нейронных сетей, предпочтительно в разных областях (или, по крайней мере, в разных наборах данных)?
Я спрашиваю, потому что у меня сейчас есть ощущение, что большинство людей, похоже, используют только отсев для регуляризации в компьютерном зрении. Я хотел бы проверить, если бы была причина (не) использовать различные способы регуляризации.
Ответы:
Два момента:
Во всяком случае, я немного скептически отношусь к эмпирическим исследованиям нейронных сетей. Слишком много гиперпараметров для тонкой настройки, от топологии сети до процедуры оптимизации градиентного спуска до функций активации и всего, что вы тестируете, например регуляризации. Тогда все дело в стохастике, и обычно прирост производительности настолько мал, что вряд ли можно провести статистический тест на различия. Многие авторы даже не удосужились провести статистическое тестирование. Они просто усредняют перекрестную проверку и объявляют, какая модель имеет наибольшее усиление десятичной точки, чтобы быть победителем.
Вы можете обнаружить, что исследование, способствующее отсеву, противоречит другому, способствующему регуляризации.
Я думаю, что все сводится к эстетическим предпочтениям. Отсев ИМХО звучит более правдоподобно, чем регуляризация. Это также кажется легче калибровать. Так что я лично предпочитаю это при использовании фреймворка типа TensorFlow. Если нам придется использовать собственную нейронную сеть, что мы часто делаем, мы будем использовать регуляризацию, потому что ее было проще реализовать.
Определенно. Бумага от самого Создателя, Джеффри Хинтон. https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf прочитайте его. Но я призываю вас самим увидеть разницу в ее реализации.