Как рассчитать дельта-член сверточного слоя, учитывая дельта-члены и веса предыдущего сверточного слоя?

Я пытаюсь обучить искусственную нейронную сеть с двумя сверточными слоями (с1, с2) и двумя скрытыми слоями (с1, с2). Я использую стандартный подход обратного распространения. При обратном проходе я вычисляю член ошибки слоя (дельта) на основе ошибки предыдущего слоя, весов предыдущего слоя и градиента активации относительно функции активации текущего слоя. Более конкретно, дельта слоя l выглядит следующим образом:

delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l)

Я могу рассчитать градиент c2, который соединяется в обычный слой. Я просто умножаю вес h1 на его дельту. Затем я преобразовываю эту матрицу в форму вывода c2, умножаю ее на градиент функции активации и готово.

Теперь у меня есть дельта-член c2 - который представляет собой матрицу 4D размера (featureMapSize, featureMapSize, filterNum, patternNum). Кроме того, у меня есть веса c2, которые представляют собой трехмерную матрицу размера (filterSize, filterSize, filterNum).

С этими двумя членами и градиентом активации c1 я хочу вычислить дельту c1.

Короче говоря:

Учитывая дельта-член предыдущего сверточного слоя и вес этого слоя, как мне вычислить дельта-член сверточного слоя?

— cdwoelk
источник

Сначала я получаю ошибку для сверточного слоя ниже для простоты для одномерного массива (ввода), который затем может быть легко перенесен в многомерный:

Здесь мы предполагаем, что длины являются входами го свода. layer, - это размер ядра весов обозначающий каждый вес через а результат равен . Следовательно, мы можем написать (обратите внимание на суммирование с нуля): где и функция активации (например, сигмоидальная). Имея это в виду, мы можем теперь рассмотреть некоторую функцию ошибки и функцию ошибки на сверточном слое (тот, что был в вашем предыдущем слое), заданный как $y^{l-1}$ $N$ $l-1$ $m$ $w$ $w_i$ $x^l$

x_{i}^{l} = \sum_{a = 0}^{m - 1} w_{a} y_{a + i}^{l - 1}

$x_i^l = \sum\limits_{a=0}^{m-1} w_a y_{a+i}^{l-1}$

y_{i}^{l} = f (x_{i}^{l})

$y_i^l = f(x_i^l)$

f

$f$

E

$E$

\partial E / \partial y_{i}^{l}

$\partial E / \partial y_i^l$ , Теперь мы хотим выяснить зависимость ошибки в одном из весов на предыдущем слое (-ях): где мы имеем сумму по всему выражению, в котором встречается , то есть . Также обратите внимание, что мы знаем, что последнее слагаемое вытекает из того факта, что который вы можете видеть из первого уравнения. Для вычисления градиента нам нужно знать первое слагаемое, которое можно вычислить следующим образом:

\frac{\partial E}{\partial w_{a}} = \sum_{a = 0}^{N - m} \frac{\partial E}{\partial x_{i}^{l}} \frac{\partial x_{i}^{l}}{\partial w_{a}} = \sum_{a = 0}^{N - m} \frac{\partial E}{\partial w_{a}} y_{i + a}^{l - 1}

$\begin{equation} \frac{\partial E}{\partial w_a} = \sum\limits_{a=0}^{N-m} \frac{\partial E}{\partial x_i^l} \frac{\partial x_i^l}{\partial w_a} = \sum\limits_{a=0}^{N-m}\frac{\partial E}{\partial w_a} y_{i+a}^{l-1} \end{equation}$

w_{a}

$w_a$

N - m

$N-m$

\frac{\partial x_{i}^{l}}{\partial w_{a}} = y_{i + a}^{l - 1}

$\frac{\partial x_i^l}{\partial w_a}= y_{i+a}^{l-1}$

\frac{\partial E}{\partial x_{i}^{l}} = \frac{\partial E}{\partial y_{i}^{l}} \frac{\partial y_{i}^{l}}{\partial x_{i}^{l}} = \frac{\partial E}{\partial y_{i}^{l}} \frac{\partial}{\partial x_{i}^{l}} f (x_{i}^{l})

$\frac{\partial E}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial y_i^l}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial}{\partial x_i^l} f(x_i^{l})$ где снова первый член - ошибка в предыдущем слое и - нелинейная функция активации.

f

$f$

Имея все необходимые сущности, мы теперь можем рассчитать ошибку и эффективно распространить ее обратно на драгоценный слой: Обратите внимание, что последний шаг может быть понятным, когда записываете -s относительно -s. относится к транспонированному весу maxtrix ( ).

δ_{a}^{l - 1} = \frac{\partial E}{\partial y_{i}^{l - 1}} = \sum_{a = 0}^{m - 1} \frac{\partial E}{\partial x_{i - a}^{l}} \frac{\partial x_{i - a}^{l}}{\partial y_{i}^{l - 1}} = \sum_{a = 0}^{m - 1} \frac{\partial E}{\partial x_{i - a}^{l}} w_{a}^{f l i p p e d}

$\delta^{l-1}_a = \frac{\partial E}{\partial y_i^{l-1} } = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x_{i-a}^l} \frac{\partial x_{i-a}^l}{\partial y_i^{l-1}} = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x^l_{i-a}} w_a^{flipped}$

x_{i}^{l}

$x_i^l$

y_{i}^{l - 1}

$y_i^{l-1}$

f l i p p e d

$flipped$

T

$T$

Поэтому вы можете просто вычислить ошибку в следующем слое (теперь в векторной записи):

δ^{l} = (w^{l})^{T} δ^{l + 1} f^{'} (x^{l})

$\delta^{l} = (w^{l})^{T} \delta^{l+1} f'(x^{l})$

который становится для сверточного и подвыборочного слоя: где Операция распространяет ошибку через слой максимального пула.

δ^{l} = u p s a m p l e ((w^{l})^{T} δ^{l + 1}) f^{'} (x^{l})

$\delta^{l} = upsample((w^{l})^{T} \delta^{l+1}) f'(x^{l})$

u p s a m p l e

$upsample$

Пожалуйста, не стесняйтесь добавлять или исправлять меня!

Для ссылок смотрите:

http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

и для реализации C ++ (без необходимости установки): https://github.com/nyanp/tiny-cnn#supported-networks

— Leow.
источник