Я недавно прочитал комментарий Яна ЛеКуна о свертках 1x1 :
В Сверточных Сетях не существует такого понятия, как «полностью связанные слои». Существуют только слои свертки с ядрами свертки 1x1 и полной таблицей соединений.
Это слишком редко понимаемый факт, что ConvNets не должен иметь вход фиксированного размера. Вы можете обучить их на входах, которые производят один выходной вектор (без пространственного экстента), а затем применить их к большим изображениям. Вместо одного выходного вектора вы получите пространственную карту выходных векторов. Каждый вектор видит входные окна в разных местах на входе. В этом сценарии «полностью связанные слои» действительно действуют как свертки 1x1.
Я хотел бы увидеть простой пример для этого.
пример
Предположим, у вас есть полностью подключенная сеть. Он имеет только входной слой и выходной слой. Входной слой имеет 3 узла, выходной слой имеет 2 узла. Эта сеть имеет параметров. Чтобы сделать его еще более конкретным, допустим, у вас есть функция активации ReLU в выходном слое и матрице весов.
Таким образом, сеть с .
Как сверточный слой должен выглядеть одинаково? Что означает LeCun с «полной таблицей соединений»?
Я думаю, чтобы получить эквивалентный CNN, он должен иметь точно такое же количество параметров. MLP сверху имеет параметров.