Вопросы с тегом «deep-learning»

Каковы преимущества, почему можно использовать несколько LSTM, расположенных рядом друг с другом, в глубокой сети? Я использую LSTM для представления последовательности входов в качестве одного входа. Итак, если у меня есть это единственное представление - зачем мне его снова проходить? Я спрашиваю об этом, потому что я видел это в …

25 classification  neural-networks  deep-learning  lstm  rnn 

Почему функции активации выпрямленных линейных единиц (ReLU) считаются нелинейными? е( х ) = макс ( 0 , х )f(x)=max(0,x) f(x) = \max(0,x) Они являются линейными, когда входной сигнал положительный, и, насколько я понимаю, для разблокировки репрезентативной силы глубоких сетей необходимы нелинейные активации, в противном случае вся сеть может быть представлена …

25 neural-networks  deep-learning 

Согласно этому и этому ответу, автоэнкодеры кажутся техникой, которая использует нейронные сети для уменьшения размеров. Я хотел бы дополнительно знать, что такое вариационный автоэнкодер (его основные отличия / преимущества по сравнению с «традиционными» автоэнкодерами), а также каковы основные задачи обучения, для которых используются эти алгоритмы.

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Я читал об оптимизаторе Адама для Deep Learning и натолкнулся на следующее предложение в новой книге « Deep Learning » Бенджо, Гудфеллоу и Курвилля: Адам, как правило, считается достаточно устойчивым к выбору гиперпараметров, хотя скорость обучения иногда необходимо изменить по сравнению с предложенным значением по умолчанию. если это правда, то …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

В Alex Krizhevsky et al. При классификации Imagenet с глубокими сверточными нейронными сетями они перечисляют количество нейронов в каждом слое (см. Диаграмму ниже). Сетевой вход имеет размер 150 528, а число нейронов в остальных слоях сети составляет 253 440–186 624–64 896–64 896–43 264– 4096–4096–1000. 3D вид Количество нейронов для всех …

24 neural-networks  deep-learning  conv-neural-network 

Я пытаюсь лучше понять сверточные нейронные сети, написав код Python, который не зависит от библиотек (например, Convnet или TensorFlow), и я застрял в литературе о том, как выбирать значения для матрицы ядра, когда выполнение свертки на изображении. Я пытаюсь понять детали реализации в шаге между картами объектов на изображении ниже, …

24 machine-learning  neural-networks  deep-learning  feature-construction  conv-neural-network 

Поэтому я пытаюсь провести предварительную подготовку на изображениях людей, используя сверточные сети. Я прочитал документы ( Paper1 и Paper2 ) и эту ссылку на переполнение стека , но я не уверен, что понимаю структуру сетей (она не очень хорошо определена в статьях). Вопросов: Я могу сделать так, чтобы за моим …

23 neural-networks  deep-learning  autoencoders  deep-belief-networks 

Механизмы внимания использовались в различных документах глубокого обучения в последние несколько лет. Илья Суцкевер, руководитель исследовательского отдела Open AI, с энтузиазмом похвалил их: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Эудженио Кулурчелло из Университета Пердью заявил, что от RNN и LSTM следует отказаться в пользу нейронных сетей, основанных исключительно на внимании: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Это кажется преувеличением, но …

23 time-series  deep-learning  lstm  rnn  attention 

Я знаю, что было много достижений в отношении распознавания изображений, классификации изображений и т. Д. С глубокими, сверточными нейронными сетями. Но если я обучу сеть, скажем, PNG-изображениям, будет ли она работать только для изображений, закодированных таким образом? Какие другие свойства изображения влияют на это? (альфа-канал, чересстрочная развертка, разрешение и т. …

23 neural-networks  deep-learning  image-processing 

Есть ли хорошие статьи, в которых рассматриваются некоторые методические способы выбора размеров для фильтров, объединения единиц измерения и определения количества сверточных слоев?

22 neural-networks  deep-learning  conv-neural-network 

Я слушал разговор и увидел этот слайд: Насколько это правда?

22 deep-learning  deep-belief-networks 

Я работаю с Convolutional Neural Networks (CNNs) в течение некоторого времени, в основном над данными изображений для семантической сегментации / сегментации экземпляров. Я часто представлял softmax выхода сети как «тепловую карту», ​​чтобы увидеть, насколько высоки активации на пиксель для определенного класса. Я интерпретировал низкие активации как «неопределенные» / «неуверенные» и …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Задний план: Да, Restricted Boltzmann Machine (RBM) МОЖЕТ использоваться для инициации весов нейронной сети. Также он МОЖЕТ использоваться «послойным» способом для построения сети глубокого убеждения (то есть для обучения уровня на вершине ( n - 1 ) -го уровня, а затем для обучения n + 1-й слой поверх n-го слоя …

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm 

В последнее время я работал над алгоритмами повышения обучаемости, такими как adaboost, ускорение градиента, и я знал тот факт, что наиболее часто используемым слабым учеником являются деревья. Я действительно хочу знать, есть ли некоторые недавние успешные примеры (я имею в виду некоторые статьи или статьи) для использования нейронных сетей в …

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Мы определяем архитектуру узких мест как тип, найденный в статье ResNet, где [два конвексных слоя 3x3] заменяются на [один конв 1x1, один конв 3x3 и еще один слой конвекс 1x1]. Я понимаю, что конвексные слои 1x1 используются как форма уменьшения размеров (и восстановления), что объясняется в другом посте . Однако …

21 residuals  deep-learning  conv-neural-network