Пошаговый пример автоматического дифференцирования в обратном режиме

Не уверен, принадлежит ли этот вопрос здесь, но он тесно связан с градиентными методами в оптимизации, которая, кажется, здесь уместна. В любом случае, не стесняйтесь мигрировать, если считаете, что какое-то другое сообщество обладает большим опытом в этой теме.

Короче говоря, я ищу пошаговый пример автоматического дифференцирования в обратном режиме . Существует не так много литературы по этой теме, и существующую реализацию (такую как в TensorFlow ) трудно понять, не зная теории, стоящей за ней. Таким образом, я был бы очень благодарен, если бы кто-то мог подробно показать, что мы передаем , как мы это обрабатываем и что мы берем из вычислительного графа.

Пара вопросов, с которыми у меня больше всего проблем:

семена - зачем они вообще нужны?
правила обратной дифференциации - я знаю, как сделать прямую дифференциацию, но как мы пойдем назад? Например, в примере из этого раздела , откуда мы знаем, что ? $\bar{w_2}=\bar{w_3}w_1$
мы работаем только с символами или передаем фактические значения ? Например, в этом же примере символы или значения являются и ? $w_i$ $\bar{w_i}$

— ffriend
источник

«Практическое машинное обучение с Scikit-Learn & TensorFlow» Приложение D дает очень очень хорошее объяснение, на мой взгляд. Я рекомендую это.

— Агустин Баррачина

Допустим, у нас есть выражение и мы хотим найти производные и . В обратном режиме AD эта задача разбивается на 2 части: прямой и обратный проходы. $z = x_1x_2 + \sin(x_1)$ $\frac{dz}{dx_1}$ $\frac{dz}{dx_2}$

Прямой проход

Во-первых, мы разлагаем наше сложное выражение на множество примитивных, то есть выражений, состоящих не более чем из одного вызова функции. Обратите внимание, что я также переименовываю входные и выходные переменные для согласованности, хотя это и не обязательно:

w_{1} = x_{1}

$w_1 = x_1$

w_{2} = x_{2}

$w_2 = x_2$

w_{3} = w_{1} w_{2}

$w_3 = w_1w_2$

w_{4} = \sin (w_{1})

$w_4 = \sin(w_1)$

w_{5} = w_{3} + w_{4}

$w_5 = w_3 + w_4$

z = w_{5}

$z = w_5$

Преимущество этого представления в том, что правила дифференцирования для каждого отдельного выражения уже известны. Например, мы знаем, что производная от есть , и поэтому . Мы будем использовать этот факт в обратном порядке ниже. $\sin$ $\cos$ $\frac{dw_4}{dw_1} = \cos(w_1)$

По сути, прямой проход состоит из оценки каждого из этих выражений и сохранения результатов. Скажем, наши входные данные: и . Тогда мы имеем: $x_1 = 2$ $x_2 = 3$

w_{1} = x_{1} = 2

$w_1 = x_1 = 2$

w_{2} = x_{2} = 3

$w_2 = x_2 = 3$

w_{3} = w_{1} w_{2} = 6

$w_3 = w_1w_2 = 6$

w_{4} = \sin (w_{1}) = 0.9

$w_4 = \sin(w_1) ~= 0.9$

w_{5} = w_{3} + w_{4} = 6.9

$w_5 = w_3 + w_4 = 6.9$

z = w_{5} = 6.9

$z = w_5 = 6.9$

Обратный проход

Это волшебство начинается, и оно начинается с правила цепочки . В своей основной форме правило цепочки утверждает, что если у вас есть переменная которая зависит от которая, в свою очередь, зависит от , то: $t(u(v))$ $u$ $v$

\frac{d t}{d v} = \frac{d t}{d u} \frac{d u}{d v}

$\frac{dt}{dv} = \frac{dt}{du}\frac{du}{dv}$

или, если зависит от через несколько путей / переменных , например: $t$ $v$ $u_i$

u_{1} = f (v)

$u_1 = f(v)$

u_{2} = g (v)

$u_2 = g(v)$

t = h (u_{1}, u_{2})

$t = h(u_1, u_2)$

тогда (см. доказательство здесь ):

\frac{d t}{d v} = \sum_{i} \frac{d t}{d u_{i}} \frac{d u_{i}}{d v}

$\frac{dt}{dv} = \sum_i \frac{dt}{du_i}\frac{du_i}{dv}$

В терминах графа выражений, если у нас есть конечный узел и входные узлы , а путь от до проходит через промежуточные узлы (т.е. где ), мы можем найти производную как $z$ $w_i$ $z$ $w_i$ $w_p$ $z = g(w_p)$ $w_p = f(w_i)$ $\frac{dz}{dw_i}$

\frac{d z}{d w_{i}} = \sum_{p \in p a r e n t s (i)} \frac{d z}{d w_{p}} \frac{d w_{p}}{d w_{i}}

$\frac{dz}{dw_i} = \sum_{p \in parents(i)} \frac{dz}{dw_p} \frac{dw_p}{dw_i}$

Другими словами, чтобы вычислить производную выходной переменной любой промежуточной или входной переменной , нам нужно знать только производные ее родителей и формулу для вычисления производной примитивного выражения . $z$ $w_i$ $w_p = f(w_i)$

Обратный проход начинается в конце (то есть ) и распространяется обратно на все зависимости. Здесь мы имеем (выражение для «семян»): $\frac{dz}{dz}$

\frac{d Z}{d Z} знак равно 1

$\frac{dz}{dz} = 1$

Это может быть прочитано как «изменение в приводит к точно такому же изменению в », что совершенно очевидно. $z$ $z$

Тогда мы знаем, что и так: $z = w_5$

\frac{d Z}{d {вес}_{5}} знак равно 1

$\frac{dz}{dw_5} = 1$

$w_5$ линейно зависит от и , поэтому и . Используя правило цепочки, мы находим: $w_3$ $w_4$ $\frac{dw_5}{dw_3} = 1$ $\frac{dw_5}{dw_4} = 1$

\frac{d Z}{d {вес}_{3}} знак равно \frac{d Z}{d {вес}_{5}} \frac{d {вес}_{5}}{d {вес}_{3}} знак равно 1 \times 1 знак равно 1

$\frac{dz}{dw_3} = \frac{dz}{dw_5} \frac{dw_5}{dw_3} = 1 \times 1 = 1$

\frac{d Z}{d {вес}_{4}} знак равно \frac{d Z}{d {вес}_{5}} \frac{d {вес}_{5}}{d {вес}_{4}} знак равно 1 \times 1 знак равно 1

$\frac{dz}{dw_4} = \frac{dz}{dw_5} \frac{dw_5}{dw_4} = 1 \times 1 = 1$

Из определения и правил частных производных мы находим, что . Таким образом: $w_3 = w_1w_2$ $\frac{dw_3}{dw_2} = w_1$

\frac{d Z}{d {вес}_{2}} знак равно \frac{d Z}{d {вес}_{3}} \frac{d {вес}_{3}}{d {вес}_{2}} знак равно 1 \times {вес}_{1} знак равно {вес}_{1}

$\frac{dz}{dw_2} = \frac{dz}{dw_3} \frac{dw_3}{dw_2} = 1 \times w_1 = w_1$

Который, как мы уже знаем из прямого прохода, является:

\frac{d Z}{d {вес}_{2}} знак равно {вес}_{1} знак равно 2

$\frac{dz}{dw_2} = w_1 = 2$

Наконец, вносит вклад в через и . Еще раз, из правил частных производных мы знаем, что и . Таким образом: $w_1$ $z$ $w_3$ $w_4$ $\frac{dw_3}{dw_1} = w_2$ $\frac{dw_4}{dw_1} = \cos(w_1)$

\frac{d Z}{d {вес}_{1}} знак равно \frac{d Z}{d {вес}_{3}} \frac{d {вес}_{3}}{d {вес}_{1}} + \frac{d Z}{d {вес}_{4}} \frac{d {вес}_{4}}{d {вес}_{1}} знак равно {вес}_{2} + соз ({вес}_{1})

$\frac{dz}{dw_1} = \frac{dz}{dw_3} \frac{dw_3}{dw_1} + \frac{dz}{dw_4} \frac{dw_4}{dw_1} = w_2 + \cos(w_1)$

И снова, учитывая известные входные данные, мы можем рассчитать это:

\frac{d Z}{d {вес}_{1}} знак равно {вес}_{2} + соз ({вес}_{1}) знак равно 3 + соз (2) знак равно 2,58

$\frac{dz}{dw_1} = w_2 + \cos(w_1) = 3 + \cos(2) ~= 2.58$

Поскольку и являются просто псевдонимами для и , мы получаем наш ответ: $w_1$ $w_2$ $x_1$ $x_2$

\frac{d Z}{d {Икс}_{1}} знак равно 2,58

$\frac{dz}{dx_1} = 2.58$

\frac{d Z}{d {Икс}_{2}} знак равно 2

$\frac{dz}{dx_2} = 2$

Вот и все!

Это описание касается только скалярных входных данных, то есть чисел, но на самом деле оно также может применяться к многомерным массивам, таким как векторы и матрицы. При различении выражений с такими объектами следует учитывать две вещи:

Производные могут иметь гораздо более высокую размерность, чем входные или выходные данные, например, производная вектора от вектора является матрицей, а производная матрицы от матрицы - это 4-мерный массив (иногда его называют тензором). Во многих случаях такие производные очень редки.
Каждый компонент в выходном массиве является независимой функцией от 1 или более компонентов входного массива (ов). Например, если и оба и являются векторами, никогда не зависит от , а только от подмножества . В частности, это означает, что поиск производной сводится к отслеживанию зависимости от . $y = f(x)$ $x$ $y$ $y_i$ $y_j$ $x_k$ $\frac{dy_i}{dx_j}$ $y_i$ $x_j$

Сила автоматического дифференцирования заключается в том, что он может работать со сложными структурами из языков программирования, такими как условия и циклы. Однако, если все, что вам нужно, это алгебраические выражения, и у вас есть достаточно хорошая структура для работы с символическими представлениями, можно построить полностью символические выражения. Фактически, в этом примере мы могли бы создать выражение и вычислить эту производную для любых входных данных, которые мы хотим. $\frac{dz}{dw_1} = w_2 + \cos(w_1) = x_2 + \cos(x_1)$

— ffriend
источник

Очень полезный вопрос / ответ. Спасибо. Просто небольшая критика: вы, кажется, двигаетесь по древовидной структуре без объяснений (вот когда вы начинаете говорить о родителях и т. Д.)

— MadHatter,

Также не помешает прояснить, зачем нам семена.

— MadHatter

@MadHatter спасибо за комментарий. Я попытался перефразировать пару абзацев (те, которые относятся к родителям), чтобы подчеркнуть структуру графа. Я также добавил «семя» к тексту, хотя само это имя, по моему мнению, может вводить в заблуждение: в AD семя всегда является фиксированным выражением - , а не тем, что вы можете выбрать или сгенерировать.

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

— друг

Благодарность! Я заметил, что когда нужно установить более одного «семени», обычно выбирают 1 и 0. Я хотел бы знать, почему. Я имею в виду, что каждый берет «фактор» дифференциала по отношению к самому себе, так что «1», по крайней мере, интуитивно оправдано. Но как насчет 0? А что, если нужно собрать более 2 семян?

— MadHatter

Насколько я понимаю, более одного семени используется только в прямом режиме AD. В этом случае вы устанавливаете начальное значение в 1 для входной переменной, которую вы хотите дифференцировать, и устанавливаете начальное значение в 0 для всех остальных входных переменных, чтобы они не влияли на выходное значение. В обратном режиме вы устанавливаете начальное значение для выходной переменной, и у вас обычно есть только одна выходная переменная. Я предполагаю, что вы можете построить конвейер AD обратного режима с несколькими выходными переменными и установить для всех них, кроме одной, 0, чтобы получить тот же эффект, что и в прямом режиме, но я никогда не исследовал эту опцию.

— друг