Как LSTM предотвращает проблему исчезающего градиента?

35

LSTM был изобретен специально, чтобы избежать проблемы исчезающего градиента. Предполагается, что это будет сделано с помощью карусели постоянных ошибок (CEC), которая на диаграмме ниже (от Греффа и др. ) Соответствует петле вокруг ячейки .

_{(источник: deeplearning4j.org )}

И я понимаю, что эту часть можно рассматривать как своего рода функцию тождества, поэтому производная равна единице, а градиент остается постоянным.

Что я не понимаю, так это как он не исчезает из-за других функций активации? Врата ввода, вывода и забывания используют сигмоид, производная которого составляет не более 0,25, а g и h традиционно были tanh . Как обратное распространение через тех, кто не делает градиент исчезает?

neural-networks lstm

— TheWalkingCube
источник

2

LSTM - это рекуррентная модель нейронной сети, которая очень эффективна для запоминания долгосрочных зависимостей и не подвержена исчезающей проблеме градиента. Я не уверен, какое объяснение вы ищете

— TheWalkingCube

LSTM: долговременная кратковременная память. (Ссылка: Hochreiter S., Schmidhuber, J. (1997). Долгосрочная кратковременная память. Нейронные вычисления 9 (8): 1735-80 · декабрь 1997)

— horaceT

Градиенты в LSTM исчезают, только медленнее, чем в ванильных RNN, что позволяет им улавливать более отдаленные зависимости. Избегание проблемы исчезающих градиентов по-прежнему остается предметом активных исследований.

— Артем Соболев

1

Хотите поддержать медленное исчезновение со ссылкой?

— Bayerj

похожие: quora.com/…

— Буратино

22

Исчезающий градиент лучше всего объяснить в одномерном случае. Многомерность более сложна, но по сути аналогична. Вы можете просмотреть его в этой превосходной статье [1].

Предположим, у нас есть скрытое состояние на шаге . Если мы упростим ситуацию и удалим смещения и входные данные, мы имеем Тогда вы можете показать, что $h_t$ $t$

{час}_{T} знак равно σ (вес {час}_{T - 1}),

$h_t = \sigma(w h_{t-1}).$

Фактор отмечен знаком !!! является решающим. Если вес не равен 1, он будет либо экспоненциально быстро уменьшаться до нуля в течение, либо экспоненциально быстро расти.

\begin{aligned} \frac{\partial {час}_{T^{'}}}{\partial {час}_{T}} & знак равно Π_{К знак равно 1}^{T^{'} - T} вес σ^{'} (вес {час}_{T^{'} - К}) \\ знак равно \underset{!!!}{\underset{⏟}{{вес}^{T^{'} - T}}} Π_{К знак равно 1}^{T^{'} - T} σ^{'} (вес {час}_{T^{'} - К}) \end{aligned}

$\begin{align} \frac{\partial h_{t'}}{\partial h_t} &= \prod_{k=1}^{t' - t} w \sigma'(w h_{t'-k})\\ &= \underbrace{w^{t' - t}}_{!!!}\prod_{k=1}^{t' - t} \sigma'(w h_{t'-k}) \end{align}$ $t'-t$

В LSTM у вас есть состояние ячейки . Производная там имеет вид $s_t$ Здесь- вход в ворота забытия. Как видите, экспоненциально быстрый затухающий фактор не задействован. Следовательно, существует хотя бы один путь, где градиент не исчезает. Полный вывод см. В [2].

\frac{\partial s_{T^{'}}}{\partial s_{T}} знак равно Π_{К знак равно 1}^{T^{'} - T} σ (v_{T + К}),

$\frac{\partial s_{t'}}{\partial s_t} = \prod_{k=1}^{t' - t} \sigma(v_{t+k}).$

v_{t}

$v_t$

[1] Пашкану, Разван, Томас Миколов и Йошуа Бенжио. «О сложности обучения рекуррентным нейронным сетям». ICML (3) 28 (2013): 1310-1318.

[2] Байер, Джастин Саймон. Представления последовательности обучения. Дисс. Мюнхен, Технический университет Мюнхена, Дисс., 2015, 2015.

— bayerj
источник

3

Для lstm, h_t также не зависит от h_ {t-1}? Что вы имеете в виду в своей статье, когда говорите, что ds_t / d_s {t-1} «единственная часть, где градиенты текут во времени»?

— user3243135

@ user3243135 h_t зависит от h_ {t-1}. Однако предположим, что ds_t / d_s {t-1} сохраняется, даже если другие градиентные потоки исчезают, весь градиентный поток не исчезает. Это решает исчезновение градиента.

— соло

\overset{T^{'} - T}{Π} σ^{'} (вес {час}_{T^{'} - К})

$\prod^{t'-t} \sigma'(w h_{t'-k} )$

σ^{'} (z)

$\sigma'(z)$

σ^{'} (x) = σ (z) (1 - σ (z))

$\sigma'(x) = \sigma(z) (1 - \sigma(z))$ что <1 точно). Разве не поэтому ReLU стали приняты в CNN? Это одна вещь, которая всегда смущала меня из-за разницы в том, как обращался к исчезающему градиенту в моделях с прямой связью по сравнению с рекуррентными моделями. Есть какие-нибудь пояснения к этому?

— Буратино

Градиент сигмоиды также может стать проблемой, предполагая распределение входов с большой дисперсией и / или средним от 0. Однако, даже если вы используете ReLU, основная проблема сохраняется: многократное умножение на матрицу весов (обычно небольшую) ) вызывает исчезающие градиенты или, в некоторых случаях, когда регуляризация не является адекватной, взрывные градиенты.

— Атаксия

3

Изображение блока LSTM от Greff et al. (2015) описывает вариант, который авторы называют ванильным LSTM . Это немного отличается от оригинального определения от Hochreiter & Schmidhuber (1997). Первоначальное определение не включало ворота забытия и соединения глазка.

Термин «Карусель с постоянной ошибкой» использовался в оригинальной статье для обозначения повторяющейся связи состояния ячейки. Рассмотрим исходное определение, в котором состояние ячейки изменяется только путем сложения, когда открывается входной вентиль. Градиент состояния ячейки относительно состояния ячейки на более раннем временном шаге равен нулю.

Ошибка по-прежнему может войти в CEC через выходной вентиль и функцию активации. Функция активации немного уменьшает величину ошибки перед ее добавлением в CEC. ЦИК является единственным местом, где ошибка может течь без изменений. Опять же, когда входной вентиль открывается, ошибка выходит через входной вентиль, функцию активации и аффинное преобразование, уменьшая величину ошибки.

Таким образом, ошибка уменьшается при обратном распространении через слой LSTM, но только при входе и выходе из CEC. Важно то, что он не меняется в ЦИК независимо от того, на какое расстояние он проходит. Это решает проблему в базовой RNN, которая заключается в том, что на каждом временном шаге применяется аффинное преобразование и нелинейность, а это означает, что чем больше временное расстояние между входом и выходом, тем меньше ошибка.

— Сеппо Энарви
источник

2

http://www.felixgers.de/papers/phd.pdf Пожалуйста, обратитесь к разделам 2.2 и 3.2.2, где объясняется усеченная ошибка. Они не распространяют ошибку, если она просачивается из памяти ячейки (т. Е. Если есть закрытый / активированный входной вентиль), но они обновляют веса шлюза на основе ошибки только для этого момента времени. Позже он обнуляется во время дальнейшего обратного распространения. Это своего рода хак, но причина этого заключается в том, что поток ошибок вдоль ворот все равно со временем затухает.

— Суреш
источник

7

Не могли бы вы немного рассказать об этом? На данный момент ответ не будет иметь никакого значения, если местоположение ссылки изменится или документ переведен в автономный режим. По крайней мере, это поможет дать полную цитату (ссылку), которая позволит снова найти документ, если ссылка перестанет работать, но короткое резюме, которое делает этот ответ автономным, было бы лучше.

— Серебряная рыба

2

Я хотел бы добавить некоторые детали к принятому ответу, потому что я думаю, что это немного более нюансировано, и нюанс может быть не очевиден для того, кто впервые узнает о RNN.

\frac{\partial {час}_{T^{'}}}{\partial {час}_{T}} знак равно Π_{К знак равно 1}^{T^{'} - T} вес σ^{'} (вес {час}_{T^{'} - К})

$\frac{\partial h_{t'}}{\partial h_{t}} = \prod _{k=1} ^{t'-t} w \sigma'(w h_{t'-k})$

\frac{\partial s_{T^{'}}}{\partial s_{T}} знак равно Π_{К знак равно 1}^{T^{'} - T} σ (v_{T + К})

$\frac{\partial s_{t'}}{\partial s_{t}} = \prod _{k=1} ^{t'-t} \sigma(v_{t+k})$

$t'-t$
ответ - да , поэтому LSTM также пострадает от исчезающих градиентов, но не так сильно, как ванильный RNN

$w \sigma'(\cdot)$ $\sigma (\cdot)$

σ (\cdot) \approx 1

$\sigma (\cdot) \approx 1$

v_{t + k} = w x

$v_{t+k} = wx$

w

$w$

x

$x$

w

$w$

$x=1$ $w=10$ $v_{t+k}=10$ $\sigma (\cdot) = 0.99995$

(0,99995)^{T^{'} - T}

$(0.99995)^{t'-t}$

вес σ^{'} (вес {час}_{T^{'} - К}) \approx 1

$w \sigma'(w h_{t'-k}) \approx 1$

$h_{t'-k}=1$ $w \sigma'(w*1)$ $0.224$ $w=1.5434$

(0,224)^{T^{'} - T}

$(0.224)^{t'-t}$

— Kevin
источник