Как именно сверточные нейронные сети используют свертку вместо умножения матриц?

Я читал Книгу Йошуа Бенжио по глубокому обучению, и на странице 224 написано:

Сверточные сети - это просто нейронные сети, которые используют свертку вместо общего умножения матриц, по крайней мере, на одном из их уровней.

однако я не был уверен на 100% в том, как «заменить умножение матриц сверткой» в математически точном смысле.

Что меня действительно интересует, так это определение входных векторов в 1D (как в ), поэтому я не буду вводить данные в виде изображений и постараюсь избежать свертки в 2D.$x \in \mathbb{R}^d$

Так, например, в «нормальных» нейронных сетях операции и схема подачи можно кратко выразить, как в примечаниях Эндрю Нга:

где $z^{(l)}$ - вектор, вычисленный до прохождения его через нелинейность $f$ . Нелинейность действует pero entry на векторе $z^{(l)}$ а $a^{(l+1)}$ - это вывод / активация скрытых единиц для рассматриваемого слоя.

Это вычисление ясно для меня, потому что умножение матриц четко определено для меня, однако, просто замена умножения матриц на свертку кажется мне неясным. т.е.

Я хочу убедиться, что я понимаю математически точное уравнение выше.

Первая проблема, с которой я столкнулся при простой замене умножения матриц на свертку, состоит в том, что обычно идентифицируют одну строку $W^{(l)}$ с помощью точечного произведения. Таким образом, ясно известно, как целое $a^{(l)}$ относится к весам, и это отображается на вектор $z^{(l+1)}$ измерения, как указано $W^{(l)}$ . Однако, когда один заменяет его сверток, его мне не ясно , какая строка или гири соответствует какому записи в $a^{(l)}$, Мне даже не ясно, что на самом деле имеет смысл представлять веса в виде матрицы (я приведу пример, чтобы объяснить этот момент позже)

В случае, когда все входы и выходы находятся в 1D, можно ли просто вычислить свертку в соответствии с ее определением и затем передать ее через сингулярность?

Например, если у нас был следующий вектор на входе:

и у нас были следующие веса (возможно, мы узнали это с backprop):

тогда свертка это:

Было бы правильно просто пропустить нелинейность и обработать результат как скрытый слой / представление ( на данный момент не объединяя )? то есть следующим образом:

( я думаю, что учебник по Стенфордскому UDLF обрезает края, где свёртка по каким-то причинам сворачивается с нулями, нужно ли её обрезать?)

Это как это должно работать? Хотя бы для входного вектора в 1D? Разве не вектор?$W$

Я даже нарисовал нейронную сеть о том, как это выглядит так, как я думаю:

Для меня это звучит так, как будто вы на правильном пути, но, возможно, я могу помочь уточнить.

Один выход

Давайте представим себе традиционный уровень нейронной сети с входными единицами и 1 выходом (также предположим, что нет смещения). Этот слой имеет вектор весов ш ∈ R п , которые могут быть изучены с использованием различных методов (backprop, генетические алгоритмы и т.д.), но мы будем игнорировать обучения и сосредоточиться только на прямом распространении.$n$$w\in\mathbb{R}^n$

Слой принимает входной сигнал и отображает его активации в ∈ R путем вычисления скалярного произведения х с ш , а затем применяя нелинейности сг : = σ ( х ⋅ ш $x\in\mathbb{R}^n$$a\in\mathbb{R}$$x$$w$$\sigma$

Здесь элементы указывают, сколько нужно взвешивать соответствующие элементы x, чтобы вычислить общую активацию модуля вывода. Вы даже можете думать об этом как о «свертке», когда входной сигнал ( x ) имеет ту же длину, что и фильтр ( w ).$w$$x$$x$$w$

В сверточной установке в больше значений, чем в w ; Предположим теперь, что наш вход x ∈ R m для m > n . Мы можем вычислить активацию выходной единицы в этой настройке, вычислив скалярное произведение w с непрерывными подмножествами x : a $x$$w$$x\in\mathbb{R}^m$$m>n$$w$$x$

(Здесь я повторяю ту же досадную путаницу между взаимной корреляцией и сверткой, которую делают многие авторы нейронных сетей; если бы мы делали эти правильные свертки, мы бы перевернули элементы . Я также предполагаю «действительный» свертка, которая сохраняет только вычисленные элементы, где входной сигнал и фильтр полностью перекрываются, т. е. без какого-либо дополнения.)$w$

Вы уже включили это в свой вопрос в принципе, но я пытаюсь пройти через связь со слоями ванильной нейронной сети, используя точечный продукт, чтобы сделать точку. Основное отличие от ванильных сетевых слоев состоит в том, что если входной вектор длиннее вектора весов, то свертка превращает выход сетевого уровня в вектор - в сетях свертки его векторы вниз! Этот выходной вектор называется «картой объектов» для выходной единицы в этом слое.

Несколько выходов

$n$$w^1\in\mathbb{R}^n$$w^2\in\mathbb{R}^n$

$W = [w^1 w^2]$

$w^1$$w^2$$a^1 = [a^1_1 a^1_2 \dots a^1_{m-n+1}]$$a^2 = [a^2_1 a^2_2 \dots a^2_{m-n+1}]$$A = [a^1 a^2]$

Эти ярлыки обозначений на самом деле весьма полезны, потому что теперь легко увидеть, что для добавления другого вывода в слой, мы просто добавляем еще один столбец весов к $W$,

Надеюсь, это полезно!

Сверточный уровень - это строгое подмножество полностью связной сети, то есть умножение матриц. Сверточный слой в прямом проходе фактически эквивалентен матричному умножению, где:

• некоторые веса связаны / разделены
• некоторые веса равны нулю

При обратном проходе весовые коэффициенты будут обновляться в соответствии с тем, какие весовые коэффициенты внесли вклад в передовой проход. т.е. веса, которые были равны нулю, по-прежнему равны нулю. Веса, которые были связаны между несколькими выходами, получат градиент от всех этих выходов (какие градиенты суммируются вместе, чтобы произвести окончательное обновление градиента для этого веса).

Нет, это не так, как это должно работать. Операция свертки всегда делает вход меньше (для фильтров с размером> 1), а не больше, как в вашем примере.

Это просто поэлементное умножение. При выполнении свертки на первых 3 элементах ввода, вывод будет$1∗5+2∗6+3∗7=38$, (см. например, deeplearning.stanford.edu )