У меня есть следующий CNN:

1. Я начинаю с входного изображения размером 5х5
2. Затем я применяю свертку, используя ядро ​​2x2 и шаг = 1, что дает карту характеристик размером 4x4.
3. Затем я применяю максимальный пул 2x2 с шагом = 2, который уменьшает карту объектов до размера 2x2.
4. Затем я применяю логистический сигмоид.
5. Затем один полностью связанный слой с 2 ​​нейронами.
6. И выходной слой.

Для простоты предположим, что я уже завершил прямой проход и вычислил δH1 = 0,25 и δH2 = -0,15

Таким образом, после полного прохода вперед и частично пройденного прохода моя сеть выглядит следующим образом:

Затем я вычисляю дельты для нелинейного слоя (логистическая сигмоида):

$$\begin{align} &\delta_{11}=(0.25 * 0.61 + -0.15 * 0.02) * 0.58 * (1 - 0.58) = 0.0364182\\ &\delta_{12}=(0.25 * 0.82 + -0.15 * -0.50) * 0.57 * (1 - 0.57) = 0.068628\\ &\delta_{21}=(0.25 * 0.96 + -0.15 * 0.23) * 0.65 * (1 - 0.65) = 0.04675125\\ &\delta_{22}=(0.25 * -1.00 + -0.15 * 0.17) * 0.55 * (1 - 0.55) = -0.06818625\\ \end{align}$$

Затем я распространяю дельты на слой 4x4 и устанавливаю все значения, которые были отфильтрованы с помощью max-pooling, в 0, и карта градиента выглядит следующим образом:

Как мне обновить вес ядра оттуда? И если в моей сети был еще один сверточный слой до 5x5, какие значения я должен использовать для обновления весов ядра? И в целом, мой расчет верен?

В свертке используется принцип распределения веса, который значительно усложнит математику, но давайте попробуем пробиться через сорняки. Я рисую большую часть своих объяснений из этого источника .

---

Прямой проход

Как вы заметили, прямой проход сверточного слоя может быть выражен как

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

$k_1$$k_2$$k_1=k_2=2$$x_{0,0} = 0.25$$m$$n$

обратное распространение

Предполагая, что вы используете среднеквадратичную ошибку (MSE), определенную как

$E = \frac{1}{2}\sum_p (t_p - y_p)^2$

мы хотим определить

$\frac{\partial E}{\partial w^l_{m', n'}}$$m'$$n'$$w^1_{0,0} = -0.13$$H$$K$ выходной размер после сверточного слоя будет

$(H-k_1+1)$$(W-k_2+1)$

$4$$4$$w^1_{0,0} = -0.13$$x^1_{0,0} = 0.25$

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \frac{\partial E}{\partial x^l_{i, j}} \frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}}$ .

Он выполняет итерацию по всему выходному пространству, определяет ошибку, которую вносит вывод, а затем определяет коэффициент вклада веса ядра по отношению к этому выводу.

Давайте для простоты будем называть вклад в ошибку из выходной дельты пространства, чтобы отслеживать обратную ошибку,

$\frac{\partial E}{\partial x^l_{i, j}} = \delta^l_{i,j}$

Вклад от весов

Свертка определяется как

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$ ,

Таким образом,

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = \frac{\partial}{\partial w^l_{m', n'}} (\sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l)$ .

$m=m'$$n=n'$

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = o^{l-1}_{i+m', j+n'}$

Тогда вернемся к нашей ошибке

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \delta_{i,j}^l o^{l-1}_{i+m', j+n'}$,

Стохастический градиентный спуск

$w^{(t+1)} = w^{(t)} - \eta \frac{\partial E}{\partial w^l_{m', n'}}$

Давайте посчитаем некоторые из них

import numpy as np
from scipy import signal
o = np.array([(0.51, 0.9, 0.88, 0.84, 0.05), 
              (0.4, 0.62, 0.22, 0.59, 0.1), 
              (0.11, 0.2, 0.74, 0.33, 0.14), 
              (0.47, 0.01, 0.85, 0.7, 0.09),
              (0.76, 0.19, 0.72, 0.17, 0.57)])
d = np.array([(0, 0, 0.0686, 0), 
              (0, 0.0364, 0, 0), 
              (0, 0.0467, 0, 0), 
              (0, 0, 0, -0.0681)])

gradient = signal.convolve2d(np.rot90(np.rot90(d)), o, 'valid')

массив ([[0,044606, 0,094061], [0,011262, 0,068288]])

Теперь вы можете поместить это в уравнение SGD вместо $\frac{\partial E}{\partial w}$,

---

Пожалуйста, дайте мне знать, если есть ошибки в выводе.

---

Обновление: исправленный код