Вопросы с тегом «deep-learning»

Недавно мы увидели появление остаточной нейронной сети, в которой каждый уровень состоит из вычислительного модуля и ярлыка соединения, которое сохраняет входные данные для уровня, такие как выходные данные i-го уровня: Сеть позволяет извлекать остаточные элементы и обеспечивает более глубокую глубину, в то же время будучи более устойчивой к исчезающей проблеме …

11 machine-learning  neural-networks  deep-learning  gradient-descent  residual-networks 

У меня проблемы с пониманием скип-грамматической модели алгоритма Word2Vec. В непрерывном пакете слов легко увидеть, как контекстные слова могут «вписаться» в нейронную сеть, поскольку вы в основном усредняете их после умножения каждого из представлений кодирования с одним горячим кодированием на входную матрицу W. Однако в случае скип-граммы вы получаете вектор …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Предположим, я хочу узнать классификатор, который принимает вектор чисел в качестве входных данных и дает метку класса в качестве выходных данных. Мои тренировочные данные состоят из большого количества пар ввода-вывода. Тем не менее, когда я прихожу к тестированию на некоторых новых данных, эти данные, как правило, только частично завершены. Например, …

11 machine-learning  classification  neural-networks  deep-learning 

Я заинтересован в (глубоком) изучении подкрепления (RL) . Прежде чем погрузиться в это поле, я должен пройти курс теории игр (GT) ? Как связаны GT и RL ?

11 deep-learning  reinforcement-learning  game-theory 

Как карты активации на данном слое связаны с фильтрами для этого слоя? Я не спрашиваю о том, как выполнить сверточную операцию между фильтром и картой активации, я спрашиваю о типе связи, которую имеют эти два. Например, скажем, вы хотели сделать полную связь. У вас есть f количество фильтров и n …

11 machine-learning  deep-learning  conv-neural-network 

При реализации автоэнкодера с нейронной сетью большинство людей используют сигмоид в качестве функции активации. Можем ли мы использовать ReLU вместо этого? (Поскольку ReLU не имеет ограничений на верхнюю границу, в основном это означает, что входное изображение может иметь пиксель больше 1, в отличие от ограниченных критериев для автоматического кодера при …

11 machine-learning  neural-networks  deep-learning  autoencoders 

Я реализовывал довольно популярную статью « ОБЪЯСНЕНИЕ И ПРИМЕНЕНИЕ ОБОБЩЕННЫХ ПРИМЕРОВ », и в статье она обучает противоборствующей целевой функции. J '' (θ) = αJ (θ) + (1 - α) J '(θ). Он рассматривает α как гиперпараметр. α может быть 0,1, 0,2, 0,3 и т. д. Независимо от этой конкретной …

11 machine-learning  neural-networks  deep-learning  hyperparameter 

В чем разница между авто-кодированием вариационного байесовского алгоритма и стохастическим обратным распространением для моделей с глубокой генерацией ? Приводит ли вывод в обоих методах к тем же результатам? Я не знаю каких-либо явных сравнений между этими двумя методами, несмотря на то, что обе группы авторов цитируют друг друга.

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

Я работаю над статьей Cho 2014, в которой была представлена ​​архитектура кодер-декодер для моделирования seq2seq. В статье они, похоже, используют вероятность выходных данных при заданном входном сигнале (или его отрицательной логарифмической вероятности) в качестве функции потерь для входного сигнала длины и выходного сигнала длины :xxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, y_N | x_1, …

10 deep-learning  loss-functions  rnn 

С точки зрения различий между нейронной сетью и глубоким обучением мы можем перечислить несколько элементов, таких как добавление большего количества слоев, массивный набор данных, мощное компьютерное оборудование, чтобы сделать обучение сложной моделью. Помимо этого, есть ли более подробное объяснение различий между NN и DL?

10 machine-learning  neural-networks  deep-learning  conv-neural-network  deep-belief-networks 

Есть ли эмпирическое правило между глубиной нейронной сети и скоростью обучения? Я заметил, что чем глубже сеть, тем ниже должна быть скорость обучения. Если это правильно, то почему?

10 neural-networks  deep-learning  hyperparameter  rule-of-thumb 

Можно ли научить нейронную сеть рисовать картинку в определенном стиле? (Таким образом, он берет изображение и перерисовывает его в стиле, для которого он был обучен.) Есть ли одобренная технология для такого рода вещей? Я знаю об алгоритме DeepArt. Хорошо заполнить основное изображение определенным рисунком (например, vangoghify image), но я ищу …

10 machine-learning  neural-networks  deep-learning 

Когда нужно выполнять градиентное отсечение при обучении RNN или CNN? Меня особенно интересует последнее. Что было бы хорошим начальным значением для отсечения? (это конечно можно настроить)

10 deep-learning 

В задачах компьютерного зрения, таких как классификация объектов, с помощью сверточных нейронных сетей (CNN), сеть обеспечивает привлекательную производительность. Но я не уверен, как настроить параметры в сверточных слоях. Например, в градациях серого изображения ( 480x480) первый сверточный слой может использовать сверточный оператор, например 11x11x10, где число 10 означает количество сверточных …

10 neural-networks  deep-learning  conv-neural-network  computer-vision 

В недавней статье WaveNet авторы ссылаются на свою модель как на сложенные слои расширенных извилин. Они также производят следующие диаграммы, объясняющие разницу между «обычными» сверточными и дилатационными сверточками. Обычные свертки выглядят так: Это свертка с размером фильтра 2 и шагом 1, повторяющимся для 4 слоев. Затем они показывают архитектуру, используемую …

10 neural-networks  deep-learning  conv-neural-network  tensorflow