Вопросы с тегом «lstm»

У меня есть базовые знания о том, как работают RNN (и, в частности, с блоками LSTM). У меня есть графическое представление об архитектуре модуля LSTM, то есть ячейки и нескольких шлюзов, которые регулируют поток значений. Однако, по-видимому, я не до конца понял, как LSTM решает проблему «исчезающих и взрывающихся градиентов», …

13 neural-networks  lstm  rnn  backpropagation 

Для задачи обработки естественного языка (NLP) часто используют векторы word2vec в качестве вложения для слов. Тем не менее, может быть много неизвестных слов, которые не перехвачены векторами word2vec просто потому, что эти слова не видны достаточно часто в обучающих данных (многие реализации используют минимальное количество перед добавлением слова в словарь). …

11 natural-language  word2vec  lstm  word-embeddings 

Я пытаюсь понять архитектуру RNN. Я нашел этот учебник, который был очень полезен: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Особенно это изображение: Как это вписывается в сеть прямой связи? Является ли это изображение просто еще одним узлом в каждом слое?

10 neural-networks  lstm 

Как и многие другие, я обнаружил, что ресурсы здесь и здесь чрезвычайно полезны для понимания ячеек LSTM. Я уверен, что понимаю, как значения обновляются и обновляются, и я достаточно уверен, чтобы добавить упомянутые «глазковые соединения» и т. Д. В моем примере у меня на каждом шаге времени есть входной вектор …

9 machine-learning  neural-networks  lstm  rnn 

Проблема, с которой я имею дело, заключается в прогнозировании значений временных рядов. Я смотрю на один временной ряд за раз и на основе, например, 15% входных данных, я хотел бы предсказать его будущие значения. До сих пор я сталкивался с двумя моделями: LSTM (долговременная кратковременная память; класс рекуррентных нейронных сетей) …

9 time-series  forecasting  references  arima  lstm 

Предположим следующую одномерную последовательность: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... Письма A, B, C, ..здесь представляют «обычные» события. #, $, %, ...Здесь символы обозначают «особые» события Временной интервал между всеми событиями является неоднородным (от секунд до дней), хотя чем дальше …

9 time-series  deep-learning  rare-events  lstm  sequential-pattern-mining