Зачем обратно размножаться во времени в РНН?

В рекуррентной нейронной сети вы, как правило, продвигаетесь вперед через несколько временных шагов, «разворачиваете» сеть, а затем распространяетесь обратно через последовательность входов.

Почему бы вам не просто обновить веса после каждого отдельного шага в последовательности? (эквивалент использования длины усечения 1, поэтому развернуть нечего) Это полностью устраняет проблему исчезающего градиента, значительно упрощает алгоритм, вероятно, уменьшит шансы застрять в локальных минимумах и, что наиболее важно, работает нормально , Я тренировал модель таким образом, чтобы генерировать текст, и результаты казались сопоставимыми с результатами, которые я видел из обученных моделей BPTT. Я только запутался в этом, потому что в каждом учебнике по RNN, который я видел, говорится, что нужно использовать BPTT, почти как если бы он был необходим для правильного обучения, а это не так.

Обновление: я добавил ответ

Изменить: я сделал большую ошибку при сравнении двух методов и должен изменить свой ответ. Оказывается, способ, которым я это делал, просто обратно распространяясь на текущем временном шаге, фактически начинает учиться быстрее. Быстрые обновления очень быстро изучают самые основные шаблоны. Но при большем наборе данных и с более длительным временем обучения BPTT действительно побеждает. Я тестировал небольшой образец всего за несколько эпох и предположил, что тот, кто начнет выигрывать гонку, будет победителем. Но это привело меня к интересной находке. Если вы начинаете тренировку обратно, распространяясь всего за один шаг, затем переходите к BPTT и постепенно увеличиваете, насколько далеко вы продвигаетесь, вы получаете более быструю конвергенцию.

RNN - это глубокая нейронная сеть (DNN), где каждый уровень может принимать новые входные данные, но иметь те же параметры. BPT - это модное слово для обратного распространения в такой сети, которое само по себе является модным словом для градиентного спуска.

Скажем , что РНН выходов у т в каждом шаге и е р г ö г т = ( у т - у т ) 2$\hat{y}_t$

$$\begin{equation} error_t=(y_t-\hat{y}_t)^2 \end{equation}$$

Чтобы узнать вес, нам нужны градиенты, чтобы функция отвечала на вопрос "насколько изменение параметра влияет на функцию потерь?" и переместите параметры в направлении, заданном:

$$\begin{equation} \nabla error_t=-2(y_t-\hat{y}_t)\nabla \hat{y}_t \end{equation}$$

Т.е. у нас есть DNN, где мы получаем отзывы о том, насколько хорош прогноз на каждом уровне. Поскольку изменение параметра будет изменять каждый уровень в DNN (временной шаг), и каждый уровень вносит свой вклад в предстоящие результаты, это необходимо учитывать.

Возьмем простую одноуровневую сеть, чтобы увидеть это полуявным образом:

$$\begin{align*} \hat{y}_{t+1} =& f(a+bx_t+c\hat{y}_t)\\ \frac{\partial}{\partial a}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot c\cdot \frac{\partial}{\partial a}\hat{y}_{t} \\ \frac{\partial}{\partial b}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (x_t+c\cdot\frac{\partial}{\partial b}\hat{y}_{t})\\ \frac{\partial}{\partial c}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (\hat{y}_t+c\cdot\frac{\partial}{\partial c}\hat{y}_{t})\\ \iff\\ \nabla \hat{y}_{t+1} =& f'(a+bx_t+c\hat{y}_t)\cdot \left(\begin{bmatrix}0\\x_t\\\hat{y}_t \end{bmatrix} + c \mathbin{\color{red}{\nabla \hat{y}_{t}}} \right) \end{align*}$$

С скорость обучения шаг один учебный тогда: [ ~ ~ б ~ с ] ← [ б с ] + δ ( у т - у т ) ∇ у$\delta$

$$\begin{equation} \begin{bmatrix}\tilde{a}\\\tilde{b}\\\tilde{c}\end{bmatrix} \leftarrow \begin{bmatrix}a\\b\\c\end{bmatrix} + \delta (y_{t}-\hat{y}_{t})\nabla \hat{y}_t \end{equation}$$

$\nabla \hat{y}_{t+1}$$\nabla \hat{y}_{t}$$t$

$$\begin{equation} error=\sum_t(y_t-\hat{y}_t)^2 \end{equation}$$

Может быть, каждый шаг будет давать приблизительное направление, которого достаточно для агрегирования? Это может объяснить ваши результаты, но мне было бы интересно услышать больше о вашем методе / функции потери! Также будет интересно сравнение с оконным ANN с двумя временными шагами.

edit4: После прочтения комментариев кажется, что ваша архитектура не RNN.

$h_t$

Ваша модель: без состояния - скрытое состояние перестраивается на каждом шаге. Edit2: добавлено больше ссылок на DNN. Edit3: исправлен шаг градации и некоторые нотации edit5: исправлена ​​интерпретация вашей модели после вашего ответа / уточнения.

"Unfolding through time" is simply an application of the chain rule,

$$\frac{dF(g(x), h(x), m(x))}{dx} = \frac{\partial F}{\partial g}\frac{dg}{dx} + \frac{\partial F}{\partial h}\frac{dh}{dx} + \frac{\partial F}{\partial m}\frac{dm}{dx}$$

Выход RNN на шаге по времени $t$, $H_t$ является функцией параметров $\theta$вход $x_t$ и предыдущее состояние, $H_{t-1}$ (обратите внимание, что вместо $H_t$ может быть преобразован снова на шаге времени $t$чтобы получить вывод, что здесь не важно). Помните цель градиентного спуска: дана некоторая функция ошибок$L$, давайте посмотрим на нашу ошибку для текущего примера (или примеров), а затем давайте настроим $\theta$ таким образом, если мы снова приведем тот же пример, наша ошибка будет уменьшена.

Как именно $\theta$внести свой вклад в нашу текущую ошибку? Мы взяли взвешенную сумму с нашим текущим вкладом,$x_t$так что нам нужно будет вернуться через вход, чтобы найти $\nabla_\theta a(x_t, \theta)$, чтобы решить, как настроить $\theta$, Но наша ошибка была также результатом некоторого вклада$H_{t-1}$который также был функцией$\theta$, right? So we need to find out $\nabla_\theta H_{t-1}$, which was a function of $x_{t-1}$, $\theta$ and $H_{t-2}$. But $H_{t-2}$ was also a function a function of $\theta$. And so on.