Что именно представляет собой блок остаточного обучения в контексте глубоких остаточных сетей в глубоком обучении?

Я читал статью « Глубокое остаточное обучение для распознавания изображений», и мне было трудно со 100% -ной уверенностью понять, что остаточный блок влечет за собой в вычислительном отношении. Читая их бумагу, у них есть рисунок 2:

который иллюстрирует то, что должен быть Остаточный Блок. Является ли вычисление остаточного блока просто таким же, как:

$$\mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} )$$

Или что-то еще?

Другими словами, возможно, чтобы попытаться сопоставить обозначения бумаги, это:

$$\mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x}$$

это правда?

Обратите внимание, что после суммирования по окружности на бумаге появляется слово ReLU, поэтому вывод остаточного блока (который я обозначил ) должен быть:$\mathbf{y}$

$$\sigma( \mathcal F(x) + x ) = \sigma( \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} )$$

с одной дополнительной нелинейностью ReLU .$\sigma$

Да, это правда, вы можете взглянуть на их модель кафе, чтобы увидеть, как она реализована.