Что такое оператор в правиле цепочки, получая градиент однослойной нейронной сети по ее входам?

Проблема в следующем:

Получите градиент относительно входного слоя для нейронной сети с одним скрытым слоем, используя сигмоид для ввода -> скрытый, softmax для скрытого -> выход, с перекрестной потерей энтропии.

Я могу пройти через большую часть деривации, используя правило цепочки, но я не уверен, как на самом деле «связать» их вместе.

Определить некоторые обозначения

$r = xW_1+b_1$

, - сигмовидная функция $h = \sigma\left( r \right)$ $\sigma$

, $\theta = hW_2+b_2$

,является функцией SoftMax $\hat{y} = S \left( \theta \right)$ $S$

, реальна одну метку горячей вектор $J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ $y$

Тогда по правилу цепи,

\frac{\partial J}{\partial x} = \frac{\partial J}{\partial θ} \cdot \frac{\partial θ}{\partial h} \cdot \frac{\partial h}{\partial r} \cdot \frac{\partial r}{\partial x}

$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$

Отдельные градиенты:

\frac{\partial J}{\partial θ} = (\hat{y} - y)

$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$

\frac{\partial θ}{\partial h} = \frac{\partial}{\partial h} [h W_{2} + b_{2}] = W_{2}^{T}

$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$

\frac{\partial h}{\partial r} = h \cdot (1 - h)

$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$

\frac{\partial r}{\partial x} = \frac{\partial}{\partial x} [x W_{1} + b_{1}] = W_{1}^{T}

$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$

Теперь мы должны объединить определения. В простой переменной это просто, мы просто умножаем все вместе. В векторах я не уверен, использовать ли поэлементное умножение или матричное умножение.

\frac{\partial J}{\partial x} = (\hat{y} - y) * W_{2}^{T} \cdot [h \cdot (1 - h)] * W_{1}^{T}

$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$

Где - поэлементное умножение векторов, а - матричное умножение. Эта комбинация операций - единственный способ, которым я мог бы связать их вместе, чтобы получить вектор размерности , который, как я знаю, должен быть . $\cdot$ $*$ $1 \cdot D_x$ $\frac{\partial J}{\partial \boldsymbol{x}}$

У меня вопрос: какой принципиальный способ для меня выяснить, какой оператор использовать? Меня особенно смущает необходимость поэлементного между и . $W_2^T$ $h$

Спасибо!

neural-networks gradient

— amatsukawa
источник

Я понимаю, что нахождение градиента по отношению к входам не часто делается. Я считаю, что это ведет к вычислению встраивания слов, где у вас есть возможность оптимизировать «входные» векторы слов.

— amatsukawa

Как ты, Дерви, dJ / dTheta

— радж

Ответы:

Я считаю, что ключом к ответу на этот вопрос является указание на то, что поэлементное умножение на самом деле является условным обозначением, и поэтому, когда вы выводите уравнения, вы фактически никогда не используете его.

Фактическая операция - это не поэлементное умножение, а стандартное матричное умножение градиента на якобиан , всегда .

В случае нелинейности якобиан векторного вывода нелинейности относительно векторного ввода нелинейности оказывается диагональной матрицей. Поэтому верно, что градиент, умноженный на эту матрицу, эквивалентен градиенту выходной нелинейности по отношению к элементу потерь, умноженному на вектор, содержащий все частные производные нелинейности по отношению к входу нелинейности, но это следует из диагонали якобиана. Вы должны пройти через шаг Якобиана, чтобы добраться до поэлементного умножения, которое может объяснить вашу путаницу.

В математике мы имеем некоторую нелинейность , потерю и вход в нелинейность (это может быть любой тензор). Выход нелинейности имеет то же измерение --- что, как говорит @Logan, функция активации определяется поэлементно. $s$ $L$ $x \in \mathbb{R}^{n \times 1}$ $s(x) \in \mathbb{R}^{n \times 1}$

Мы хотим, чтобы

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L

$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$

Где - якобиан . Раскрывая этот якобиан, мы получаем $\dfrac{\partial s(x)}{\partial x}$ $s$

[\begin{matrix} \frac{\partial s (x_{1})}{\partial x_{1}} & \dots & \frac{\partial s (x_{1})}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial s (x_{n})}{x_{1}} & \dots & \frac{\partial s (x_{n})}{\partial x_{n}} \end{matrix}]

$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$

Мы видим, что он везде нулевой, кроме диагонали. Мы можем сделать вектор из всех его диагональных элементов

D i a g (\frac{\partial s (x)}{\partial x})

$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$

А затем используйте поэлементный оператор.

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L = D i a g (\frac{\partial s (x)}{\partial x}) \circ \nabla_{s (x)} L

$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$

— Пользователь0
источник

Всякий раз, когда обратно пропорциональны функции активации, операции становятся поэлементными. В частности, используя ваш пример, является производной обратного распространения, а является производной активации, а их произведение является поэлементным произведением, . Это потому, что функции активации определяются как поэлементные операции в нейронной сети. $\delta_2 =(\hat{y}-y)W_2^T$ $a' = h \circ (1 -h)$ $\delta_2 \circ a'$

См. Слайды лекций cs224d, стр. 30, это также может помочь.

— логан
источник