Вопросы с тегом «rnn»

В чем разница между прямой и рекуррентной нейронной сетью? Почему вы используете один поверх другого? Существуют ли другие сетевые топологии?

59 machine-learning  neural-networks  terminology  rnn  topologies 

Я некоторое время изучал LSTM. Я понимаю на высоком уровне, как все работает. Однако, собираясь реализовать их с помощью Tensorflow, я заметил, что BasicLSTMCell требует параметра количества единиц (то есть num_units). Из этого очень подробного объяснения LSTM я понял, что один блок LSTM является одним из следующих который на самом …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Недавно я прочитал, что рекуррентная нейронная сеть может аппроксимировать любой алгоритм. Итак, мой вопрос: что это значит и можете ли вы дать мне ссылку, где это доказано?

28 references  rnn 

Каковы преимущества, почему можно использовать несколько LSTM, расположенных рядом друг с другом, в глубокой сети? Я использую LSTM для представления последовательности входов в качестве одного входа. Итак, если у меня есть это единственное представление - зачем мне его снова проходить? Я спрашиваю об этом, потому что я видел это в …

25 classification  neural-networks  deep-learning  lstm  rnn 

Механизмы внимания использовались в различных документах глубокого обучения в последние несколько лет. Илья Суцкевер, руководитель исследовательского отдела Open AI, с энтузиазмом похвалил их: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Эудженио Кулурчелло из Университета Пердью заявил, что от RNN и LSTM следует отказаться в пользу нейронных сетей, основанных исключительно на внимании: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Это кажется преувеличением, но …

23 time-series  deep-learning  lstm  rnn  attention 

На этот вопрос уже есть ответы здесь : Как изменение функции стоимости может быть положительным? (1 ответ) Что мне делать, если моя нейронная сеть не учится? (5 ответов) Закрыто в прошлом месяце . Я тренирую модель (Recurrent Neural Network), чтобы классифицировать 4 типа последовательностей. Во время тренировок я вижу, что …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

Я пытаюсь понять различные архитектуры рекуррентных нейронных сетей (RNN), которые должны применяться к данным временных рядов, и меня немного путают с разными именами, которые часто используются при описании RNN. Является ли структура долгосрочной кратковременной памяти (LSTM) и Gated Recurrent Unit (GRU) по сути RNN с контуром обратной связи?

20 neural-networks  lstm  rnn 

Недавно я заинтересовался LSTM и с удивлением узнал, что веса распределяются по времени. Я знаю, что если вы разделяете веса по времени, то ваши входные временные последовательности могут иметь переменную длину. С общими весами у вас гораздо меньше параметров для тренировки. Насколько я понимаю, причина, по которой можно обратиться к …

20 machine-learning  lstm  rnn 

RNN может использоваться для прогнозирования или преобразования последовательности в последовательность. Но как RNN можно использовать для классификации? Я имею в виду, мы даем всей последовательности одну метку.

19 machine-learning  neural-networks  rnn 

Я просматриваю следующий блог по нейронной сети LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Автор изменяет входной вектор X как [выборки, временные шаги, особенности] для различной конфигурации LSTM. Автор пишет Действительно, последовательности букв являются временными шагами одного признака, а не одним временным шагом отдельных признаков. Мы дали больше контекста для сети, но не больше последовательности, …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Я ищу проект оптического распознавания символов (OCR). После некоторых исследований я натолкнулся на интересную архитектуру: CNN + RNN + CTC. Я знаком с извилистыми нейронными сетями (CNN) и рекуррентными нейронными сетями (RNN), но что такое временная классификация Connectionist (CTC)? Я хотел бы получить объяснение с точки зрения непрофессионала.

15 machine-learning  deep-learning  conv-neural-network  rnn 

Я пытаюсь понять применение RNN высокого уровня для маркировки последовательностей с помощью (среди прочего) статьи Грейвса 2005 года о классификации фонем. Чтобы подвести итог проблемы: у нас есть большой обучающий набор, состоящий из (входных) аудиофайлов отдельных предложений и (выходных) отмеченных экспертом времени начала, времени окончания и меток для отдельных фонем …

15 lstm  rnn 

В рекуррентной нейронной сети вы, как правило, продвигаетесь вперед через несколько временных шагов, «разворачиваете» сеть, а затем распространяетесь обратно через последовательность входов. Почему бы вам не просто обновить веса после каждого отдельного шага в последовательности? (эквивалент использования длины усечения 1, поэтому развернуть нечего) Это полностью устраняет проблему исчезающего градиента, значительно …

14 time-series  neural-networks  backpropagation  rnn 

У меня есть базовые знания о том, как работают RNN (и, в частности, с блоками LSTM). У меня есть графическое представление об архитектуре модуля LSTM, то есть ячейки и нескольких шлюзов, которые регулируют поток значений. Однако, по-видимому, я не до конца понял, как LSTM решает проблему «исчезающих и взрывающихся градиентов», …

13 neural-networks  lstm  rnn  backpropagation 

Какие проблемы последовательного ввода лучше всего подходят для каждого? Определяет ли входная размерность, какое из них лучше подходит? Являются ли проблемы, для которых требуется «более длинная память», более подходящими для RNN LSTM, а проблемы с циклическими шаблонами ввода (фондовый рынок, погода) легче решаются с помощью HMM? Кажется, что есть много …

13 time-series  neural-networks  hidden-markov-model  rnn