Наиболее распространенные сверточные нейронные сети содержат слои пула для уменьшения размеров выходных объектов. Почему я не могу достичь того же, просто увеличив шаг сверточного слоя? Что делает необходимым объединение слоев?
Наиболее распространенные сверточные нейронные сети содержат слои пула для уменьшения размеров выходных объектов. Почему я не могу достичь того же, просто увеличив шаг сверточного слоя? Что делает необходимым объединение слоев?
Ответы:
Вы действительно можете это сделать, см. « Стремление к простоте: вся сверточная сеть» . Объединение в пул дает вам некоторую инвариантность перевода, которая может быть полезной, а может и не быть. Кроме того, пул вычисляется быстрее, чем свертки. Тем не менее, вы всегда можете попробовать заменить пул сверткой на шаг и посмотреть, что работает лучше.
Некоторые текущие работы используют средний пул ( Wide Residual Networks , DenseNets ), другие используют свертку с шагом ( DelugeNets )
Очевидно, что максимальный пул помогает, потому что он извлекает самые резкие особенности изображения. Таким образом, для данного изображения самые четкие характеристики - лучшее представление изображения на нижнем уровне. https://www.quora.com/What-is-the-benefit-of-using-average-pooling-rather-than-max-pooling
Но в соответствии с лекцией Эндрю Нга по глубокому обучению, максимальное объединение работает хорошо, но никто не знает почему. Цитата -> «Но я должен признать, я думаю, что главная причина, по которой люди используют максимальный пул, заключается в том, что во многих экспериментах было обнаружено, что он хорошо работает ... Я не знаю, кто знает, насколько это реально. основная причина. "