Почему неактивные функции активации являются проблемой при обратном распространении?

Я прочитал здесь следующее:

Сигмоидальные выходы не центрированы по нулю . Это нежелательно, поскольку нейроны на более поздних уровнях обработки в нейронной сети (подробнее об этом в ближайшее время) будут получать данные, которые не центрированы по нулю. Это влияет на динамику во время градиентного спуска, потому что, если данные, поступающие в нейрон, всегда положительны (например, $x > 0$ поэлементно в $f = w^Tx + b$ )), то градиент весов $w$ при обратном распространении станет либо все быть положительными или отрицательными (в зависимости от градиента всего выражения $f$ ). Это может привести к нежелательной зигзагообразной динамике в градиентных обновлениях для весов. Однако обратите внимание, что после добавления этих градиентов в пакет данных окончательное обновление весов может иметь переменные знаки, что несколько смягчает эту проблему. Следовательно, это неудобство, но оно имеет менее серьезные последствия по сравнению с вышеуказанной проблемой насыщенной активации.

Почему все $x>0$ (поэлементно) приводят к полностью положительным или полностью отрицательным градиентам на $w$ ?

neural-networks deep-learning backpropagation

— Амелио Васкес-Рейна
источник

У меня также был такой же вопрос, когда я смотрел видео CS231n.

— Subwaymatch

f = \sum w_{i} x_{i} + b

$f=\sum w_ix_i+b$

\frac{d f}{d w_{i}} = x_{i}

$\frac{df}{dw_i}=x_i$

\frac{d L}{d w_{i}} = \frac{d L}{d f} \frac{d f}{d w_{i}} = \frac{d L}{d f} x_{i}

$\frac{dL}{dw_i}=\frac{dL}{df}\frac{df}{dw_i}=\frac{dL}{df}x_i$

$x_i>0$ $\dfrac{dL}{dw_i}$ $\dfrac{dL}{df}$

$w_1$ $w_2$

Если наша цель находится на северо-востоке, мы можем двигаться туда только зигзагообразно, как параллельная парковка в узком пространстве. (прости мой рисунок)

Поэтому полностью положительные или полностью отрицательные функции активации (relu, sigmoid) могут быть трудными для оптимизации на основе градиента. Чтобы решить эту проблему, мы можем заранее нормализовать данные так, чтобы они были центрированы по нулю, как при нормализации пакетов / слоев.

f = \sum w_{i} (x_{i} + b_{i}) .

$f=\sum w_i(x_i+b_i).$

\frac{d L}{d w_{i}} = \frac{d L}{d f} (x_{i} - b_{i})

$\frac{dL}{dw_i}=\frac{dL}{df}(x_i-b_i)$

x_{i}

$x_i$

— dontloo
источник

Пожалуйста, исправьте меня, если я ошибаюсь, но не следует ли транспонировать значение dL / df для x, то есть xT, так как здесь мы будем использовать идею Якобина.

— Чинмай

f

$f$

w^{T} x + b

$w^Tx+b$

L

$L$

w

$w$

x

$x$

Да, это большая опечатка с моей стороны. Я имел в виду df / dw .... но я думаю, что это больше зависит от вектора x, и если это вектор строки или вектор столбца

— chinmay

d L / d f

$d L/d f$

@floyd Привет, я только что добавил несколько обновлений для твоего вопроса

— dontloo