Вопросы с тегом «deep-learning»

Я тренирую нейронную сеть, но потери от тренировок не уменьшаются. Как я могу это исправить? Я не спрашиваю о переоснащении или регуляризации. Я спрашиваю, как решить проблему, когда производительность моей сети не улучшается на тренировочном наборе . Этот вопрос намеренно носит общий характер, поэтому другие вопросы о том, как обучить …

148 neural-networks  deep-learning 

Уровень техники нелинейности заключается в использовании выпрямленных линейных единиц (ReLU) вместо сигмовидной функции в глубокой нейронной сети. Каковы преимущества? Я знаю, что тренировка сети при использовании ReLU будет быстрее, и она будет более биологически вдохновленной, каковы другие преимущества? (То есть какие-то недостатки использования сигмовидной кишки)?

141 machine-learning  neural-networks  deep-learning 

Недавно я читал о глубоком обучении, и я запутался в терминах (или, скажем, технологиях). В чем разница между Сверточные нейронные сети (CNN), Ограниченные машины Больцмана (RBM) и Авто-кодеры?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

Я не видел вопроса, сформулированного именно в этих терминах, и поэтому я задаю новый вопрос. Что мне интересно знать, так это не определение нейронной сети, а понимание реальной разницы с глубокой нейронной сетью. Для большего контекста: я знаю, что такое нейронная сеть и как работает обратное распространение. Я знаю, что …

114 neural-networks  deep-learning 

В настоящее время я занимаюсь учебником по углубленному изучению Udacity. В уроке 3 они говорят о свертке 1x1. Эта свертка 1x1 используется в начальном модуле Google. У меня проблемы с пониманием, что такое свертка 1x1. Я также видел этот пост от Янн Лекун. Может ли кто-нибудь любезно объяснить это мне?

106 neural-networks  deep-learning  convolution  conv-neural-network 

Существуют некоторые варианты нормализации изображений, но большинство, похоже, используют эти два метода: Вычтите среднее значение для канала, рассчитанное для всех изображений (например, VGG_ILSVRC_16_layers ) Вычесть по пикселю / каналу, рассчитанному по всем изображениям (например, CNN_S , также см. Эталонную сеть Caffe ) Естественный подход будет в моем уме нормализовать каждое …

88 deep-learning  image-processing 

В последние годы сверточные нейронные сети (или, возможно, глубокие нейронные сети в целом) стали глубже и глубже: современные сети переходят от 7 уровней ( AlexNet ) до 1000 слоев ( остаточных сетей) в пространстве 4 года. Причиной повышения производительности в более глубокой сети является то, что можно изучить более сложную …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

Эпоха в стохастическом градиентном спуске определяется как один проход данных. Для каждой мини-партии SGD отбирается Кkk выборок, вычисляется градиент и обновляются параметры. В настройках эпохи образцы оформляются без замены. Но это кажется ненужным. Почему бы не нарисовать каждый мини-пакет SGD как случайных отрисовок из всего набора данных на каждой итерации? …

69 neural-networks  deep-learning  gradient-descent 

У меня складывается впечатление, что когда люди обращаются к сети «глубокого убеждения», это, по сути, нейронная сеть, но очень большая. Правильно ли это или сеть глубокого убеждения также подразумевает, что сам алгоритм отличается (т. Е. Нет нейронной сети с прямой связью, но, возможно, что-то с петлями обратной связи)?

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Мне было интересно, есть ли хорошие библиотеки R для глубокого изучения нейронных сетей? Я знаю , что это nnet, neuralnetи RSNNS, но ни один из них не кажется , осуществить глубокие методы обучения. Меня особенно интересует неконтролируемое обучение с последующим обучением и использование отсева для предотвращения коадаптации . / edit: …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

Я новичок в области глубокого обучения, и для меня первым шагом было прочитать интересные статьи с сайта deeplearning.net. В статьях о глубоком обучении Хинтон и другие в основном говорят о применении его к проблемам изображения. Может кто-нибудь попытаться ответить мне, может ли это быть применено к проблеме прогнозирования значений временных …

54 time-series  machine-learning  prediction  deep-learning  deep-belief-networks 

В большинстве кодов Tensorflow, которые я видел, используется Adam Optimizer с постоянной скоростью обучения 1e-4(т.е. 0,0001). Код обычно выглядит следующим образом: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

Существуют рекуррентные нейронные сети и рекурсивные нейронные сети. Оба обычно обозначаются одной и той же аббревиатурой: RNN. Согласно Википедии , Рекуррентный NN на самом деле является Рекурсивным NN, но я не совсем понимаю объяснение. Более того, я не могу найти, что лучше (с примерами или около того) для обработки естественного …

48 machine-learning  neural-networks  deep-learning  natural-language 

В последние годы сверточные нейронные сети (CNN) стали современным средством распознавания объектов в компьютерном зрении. Как правило, CNN состоит из нескольких сверточных слоев, за которыми следуют два полностью связанных слоя. Интуиция в этом заключается в том, что сверточные слои изучают лучшее представление входных данных, а полностью связанные слои затем учатся …

46 machine-learning  neural-networks  svm  deep-learning  conv-neural-network 

В недавнем сообщении в блоге Rong Ge было сказано, что: Считается, что для многих задач, включая изучение глубинных сетей, почти все локальные минимумы имеют очень близкое значение функции к глобальному оптимуму, и, следовательно, нахождение локального минимума достаточно хорошо. Откуда эта вера?

46 machine-learning  neural-networks  optimization  deep-learning