Как '12 CNN Крижевского получает 253,440 нейронов в первом слое?

В Alex Krizhevsky et al. При классификации Imagenet с глубокими сверточными нейронными сетями они перечисляют количество нейронов в каждом слое (см. Диаграмму ниже).

Сетевой вход имеет размер 150 528, а число нейронов в остальных слоях сети составляет 253 440–186 624–64 896–64 896–43 264– 4096–4096–1000.

3D вид

Количество нейронов для всех слоев после первого ясно. Один простой способ вычислить нейроны состоит в том, чтобы просто умножить три измерения этого слоя (planes X width X height ):

• Слой 2: 27x27x128 * 2 = 186,624
• Слой 3: 13x13x192 * 2 = 64,896
• и т.п.

Тем не менее, глядя на первый слой:

• Слой 1: 55x55x48 * 2 = 290400

Обратите внимание, что это не 253,440 как указано в документе!

Рассчитать выходной размер

Другой способ вычислить выходной тензор свертки:

Если входное изображение является 3D-тензором nInputPlane x height x width, размер выходного изображения будет nOutputPlane x owidth x oheightгде

owidth = (width - kW) / dW + 1

oheight = (height - kH) / dH + 1 ,

(из документации Torch SpatialConvolution )

Исходное изображение:

• nInputPlane = 3
• height = 224
• width = 224

И слой свертки это:

• nOutputPlane = 96
• kW = 11
• kH = 11
• dW = 4
• dW = 4

(например, размер ядра 11, шаг 4)

Подставив эти цифры, мы получим:

owidth = (224 - 11) / 4 + 1 = 54 oheight = (224 - 11) / 4 + 1 = 54

Таким образом, нам не хватает 55x55размеров, которые нам нужны, чтобы соответствовать бумаге. Они могут быть дополнением (но cuda-convnet2модель явно устанавливает отступ равным 0)

Если мы возьмем 54размеры-размеры, мы получим 96x54x54 = 279,936нейроны - все еще слишком много.

Итак, мой вопрос заключается в следующем:

Как они получают 253440 нейронов для первого сверточного слоя? Чего мне не хватает?

Из примечания Stanfords на NN:

Пример из реального мира. Крижевский и соавт. архитектура, победившая в конкурсе ImageNet в 2012 году, принимала изображения размером [227x227x3]. На первом сверточном слое использовались нейроны с размером рецептивного поля F = 11, шагом S = 4 и отсутствием заполнения нулями P = 0. Поскольку (227 - 11) / 4 + 1 = 55, а поскольку слой Conv имел глубину K = 96, выходной объем слоя Conv имел размер [55x55x96]. Каждый из 55 * 55 * 96 нейронов в этом объеме был связан с областью размером [11x11x3] во входном объеме. Более того, все 96 нейронов в каждом столбце глубины связаны с одной и той же [11x11x3] областью входа, но, конечно, с разными весами. В качестве забавы, если вы читаете реальную статью, она утверждает, что входные изображения были 224x224, что, безусловно, неверно, потому что (224 - 11) / 4 + 1 совершенно явно не является целым числом. Это смутило многих людей в истории ConvNets, и мало что известно о том, что произошло. Мое личное предположение состоит в том, что Алекс использовал заполнение нулями 3 дополнительных пикселей, которые он не упоминает в статье.

ссылка: http://cs231n.github.io/convolutional-networks/

Эти примечания сопровождают класс CS231n Stanford CS: сверточные нейронные сети для визуального распознавания. По вопросам / проблемам / сообщениям об ошибках, касающимся контактов, свяжитесь с Джастином Джонсоном относительно заданий или свяжитесь с Андреем Карпати в отношении заметок курса

Эта статья действительно сбивает с толку. Во-первых, входной размер изображений неправильный, 224x224 не дает выходных данных 55. Эти нейроны просто похожи на сгруппированные пиксели в одном, поэтому на выходе получается двухмерное изображение случайных значений (значений нейронов). Таким образом, в основном число нейронов = ширина xheightxdepth, никаких секретов, чтобы понять это.