Вопросы с тегом «neural-networks»

Я прочитал здесь следующее: Сигмоидальные выходы не центрированы по нулю . Это нежелательно, поскольку нейроны на более поздних уровнях обработки в нейронной сети (подробнее об этом в ближайшее время) будут получать данные, которые не центрированы по нулю. Это влияет на динамику во время градиентного спуска, потому что, если данные, поступающие …

26 neural-networks  deep-learning  backpropagation 

Моя потеря тренировки снижается, а затем снова растет. Это очень странно. Потеря перекрестной проверки отслеживает потерю обучения. Что происходит? У меня есть два сложенных LSTMS следующим образом (на Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Я тренирую это для 100 Эпох: …

26 machine-learning  neural-networks  loss-functions  lstm 

Я заинтересован в регрессии с нейронными сетями. Нейронные сети с нулевыми скрытыми узлами + соединения с пропуском слоев являются линейными моделями. А как насчет тех же нейронных сетей, но со скрытыми узлами? Мне интересно, какова будет роль соединений с пропуском слоя? Интуитивно, я бы сказал, что если вы включите соединения …

26 regression  machine-learning  neural-networks  deep-learning 

Мне было интересно, почему так важно иметь принципиальное / теоретическое машинное обучение? С личной точки зрения, как человек, я могу понять, почему принципиальное машинное обучение было бы важно: людям нравится понимать, что они делают, мы находим красоту и удовлетворение от понимания. с теоретической точки зрения математика это весело когда есть …

25 machine-learning  neural-networks  conv-neural-network  theory 

Я хочу использовать глубокое обучение в своем проекте. Я просмотрел пару статей, и у меня возник вопрос: есть ли разница между нейронной сеткой свертки и глубоким обучением? Являются ли эти вещи одинаковыми или имеют какие-то существенные различия, и что лучше?

25 machine-learning  neural-networks  deep-learning  terminology  conv-neural-network 

Этот вопрос был перенесен из переполнения стека, потому что на него можно ответить по перекрестной проверке. Мигрировал 7 лет назад . Я пытаюсь узнать, как работает нейронная сеть по распознаванию изображений. Я видел несколько примеров и стал еще более запутанным. В примере распознавания букв для изображения 20x20 значения каждого пикселя …

25 machine-learning  neural-networks  image-processing 

Закрыто . Этот вопрос основан на мнении . В настоящее время не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы ответить на него фактами и цитатами, отредактировав этот пост . Закрыто 2 года назад . Фундаментальная проблема с глубоким обучением и нейронными сетями в целом. Решения, которые соответствуют данным …

25 machine-learning  neural-networks  svm  deep-learning 

Учитывая выпуклую функцию стоимости, используя SGD для оптимизации, мы будем иметь градиент (вектор) в определенной точке в процессе оптимизации. Мой вопрос, учитывая точку на выпуклом, градиент только указывает в направлении, в котором функция увеличивается / уменьшается быстрее всего, или градиент всегда указывает на оптимальную / крайнюю точку функции стоимости ? …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Каковы преимущества, почему можно использовать несколько LSTM, расположенных рядом друг с другом, в глубокой сети? Я использую LSTM для представления последовательности входов в качестве одного входа. Итак, если у меня есть это единственное представление - зачем мне его снова проходить? Я спрашиваю об этом, потому что я видел это в …

25 classification  neural-networks  deep-learning  lstm  rnn 

Почему функции активации выпрямленных линейных единиц (ReLU) считаются нелинейными? е( х ) = макс ( 0 , х )f(x)=max(0,x) f(x) = \max(0,x) Они являются линейными, когда входной сигнал положительный, и, насколько я понимаю, для разблокировки репрезентативной силы глубоких сетей необходимы нелинейные активации, в противном случае вся сеть может быть представлена …

25 neural-networks  deep-learning 

Я читал об оптимизаторе Адама для Deep Learning и натолкнулся на следующее предложение в новой книге « Deep Learning » Бенджо, Гудфеллоу и Курвилля: Адам, как правило, считается достаточно устойчивым к выбору гиперпараметров, хотя скорость обучения иногда необходимо изменить по сравнению с предложенным значением по умолчанию. если это правда, то …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Я знаю, что мой вопрос / название не очень конкретны, поэтому я постараюсь прояснить это: Искусственные нейронные сети имеют относительно строгий дизайн. Конечно, как правило, они находятся под влиянием биологии и пытаются построить математическую модель реальных нейронных сетей, но нашего понимания реальных нейронных сетей недостаточно для построения точных моделей. Поэтому …

24 machine-learning  neural-networks  bioinformatics  artificial-intelligence  neuroscience 

У меня есть 50000 изображений, таких как эти два: Они изображают графики данных. Я хотел извлечь функции из этих изображений, поэтому я использовал код автоэнкодера, предоставленный Theano (deeplearning.net). Проблема в том, что эти автоэнкодеры, похоже, не изучают никаких функций. Я попробовал RBM, и это то же самое. Набор данных MNIST …

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

В Alex Krizhevsky et al. При классификации Imagenet с глубокими сверточными нейронными сетями они перечисляют количество нейронов в каждом слое (см. Диаграмму ниже). Сетевой вход имеет размер 150 528, а число нейронов в остальных слоях сети составляет 253 440–186 624–64 896–64 896–43 264– 4096–4096–1000. 3D вид Количество нейронов для всех …

24 neural-networks  deep-learning  conv-neural-network 

В чем разница между удалением и отключением соединения? AFAIK, выпадение случайным образом сбрасывает скрытые узлы во время обучения, но держит их в тестировании, и отбрасывает соединения сбрасывает соединения Но не является ли удаление соединений эквивалентным удалению скрытых узлов? Разве узлы (или соединения) не являются просто набором весов?

24 neural-networks  dropout