Вопросы с тегом «deep-learning»

Я ищу проект оптического распознавания символов (OCR). После некоторых исследований я натолкнулся на интересную архитектуру: CNN + RNN + CTC. Я знаком с извилистыми нейронными сетями (CNN) и рекуррентными нейронными сетями (RNN), но что такое временная классификация Connectionist (CTC)? Я хотел бы получить объяснение с точки зрения непрофессионала.

15 machine-learning  deep-learning  conv-neural-network  rnn 

В базовом машинном обучении нас учат следующим «правилам большого пальца»: а) размер ваших данных должен как минимум в 10 раз превышать размер VC вашего набора гипотез. б) нейронная сеть с N соединениями имеет размерность VC приблизительно N. Итак, когда в нейронной сети с глубоким обучением говорят, миллионы единиц, значит ли …

15 machine-learning  neural-networks  deep-learning  vc-dimension 

Я изучаю этот урок по вариационным автоэнкодерам Карла Доерша . На второй странице говорится: Одним из наиболее популярных таких фреймворков является Variational Autoencoder [1, 3], предмет данного руководства. Предположения этой модели являются слабыми, и обучение происходит быстро с помощью обратного распространения. VAE действительно делают приближение, но ошибка, вносимая этим приближением, …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

Глубокая учебная литература полна умных трюков с использованием непостоянных скоростей обучения при градиентном спуске. Такие вещи, как экспоненциальный распад, RMSprop, Adagrad и т. Д., Легко реализовать и они доступны в каждом пакете глубокого обучения, но, похоже, их не существует за пределами нейронных сетей. Есть ли причина для этого? Если людям …

14 machine-learning  deep-learning  optimization  gradient-descent 

Все примеры, которые я нашел, используя глубокие убеждения или сверточные нейронные сети, используют их для классификации изображений, распознавания разговоров или распознавания речи. Полезны ли глубокие нейронные сети для классических задач регрессии, где функции не структурированы (например, не расположены в последовательности или сетке)? Если да, можете ли вы привести пример?

14 regression  machine-learning  neural-networks  deep-learning 

Допустим, я пишу алгоритм построения двухуровневого сложного автоэнкодера и двухслойной нейронной сети. Это одни и те же вещи или разница? Что я понимаю, так это то, что когда я строю сложенный автоэнкодер, я буду строить слой за слоем. Для нейронной сети я бы инициализировал все параметры в сетевой работе, а …

14 neural-networks  deep-learning  autoencoders 

Это относится к статье « Эффективная локализация объектов с использованием сверточных сетей» , и, насколько я понимаю, выпадение реализовано в 2D. После прочтения кода из Keras о том, как реализован пространственный выпадение 2D, в основном реализована случайная двоичная маска формы [batch_size, 1, 1, num_channels]. Однако, что именно этот пространственный 2D-выпадет …

14 machine-learning  deep-learning  tensorflow  dropout 

В частности, в контексте соревнований по догонялкам, я заметил, что производительность модели - это выбор функций / разработка. Хотя я могу полностью понять, почему это происходит в случае с более традиционными алгоритмами ML старой школы, я не понимаю, почему это было бы так при использовании глубоких нейронных сетей. Ссылаясь на …

14 neural-networks  deep-learning  feature-selection  feature-engineering 

Как обучается слой внедрения в слое Keras Embedding? (скажем, используя тензор потока бэкэнда, то есть он похож на word2vec, glove или fasttext) Предположим, мы не используем предварительно обученное вложение.

14 deep-learning  keras  word-embeddings 

Что такое байесовское глубокое обучение и как оно относится к традиционной байесовской статистике и традиционному глубокому обучению? Каковы основные понятия и математика? Могу ли я сказать, что это просто непараметрическая байесовская статистика? Каковы его основные работы, а также его текущие основные разработки и приложения? PS: Bayesian Deep Learning привлекает большое …

13 bayesian  deep-learning 

В документе DeepMind 2015 года об обучении глубокому подкреплению говорится, что «предыдущие попытки объединить RL с нейронными сетями в значительной степени потерпели неудачу из-за нестабильного обучения». Затем в документе перечислены некоторые причины этого, основанные на корреляции между наблюдениями. Пожалуйста, кто-нибудь может объяснить, что это значит? Является ли это формой переоснащения, …

13 machine-learning  neural-networks  deep-learning  reinforcement-learning 

Я читал некоторые статьи о ручном создании изображений, чтобы «обмануть» нейронную сеть (см. Ниже). Это потому, что сети моделируют только условную вероятность ? Если сеть может смоделировать общую вероятность p ( y , x ) , будут ли такие случаи происходить?р ( у| х)п(Y|Икс)p(y|x)р ( у, Х )п(Y,Икс)p(y,x) Я предполагаю, …

13 machine-learning  neural-networks  deep-learning 

Я хочу знать, что это такое, и чем оно отличается от ансамбля? Предположим, я хочу добиться высокой точности в классификации и сегментации для конкретной задачи, если для этого я использую разные сети, такие как CNN, RNN и т. Д., Называется ли это сквозной моделью? (архитектура?) или нет?

13 machine-learning  terminology  deep-learning 

Справочная информация: Недавно я понял на более глубоком уровне важность увеличения данных при обучении сверточных нейронных сетей, увидев этот прекрасный доклад Джеффри Хинтона . Он объясняет, что сверточные нейронные сети текущего поколения не способны обобщить систему отсчета тестируемого объекта, что затрудняет для сети истинное понимание того, что зеркальные изображения объекта …

13 machine-learning  deep-learning 

Я моделирую 15000 твитов для прогнозирования настроений, используя однослойный LSTM со 128 скрытыми единицами, используя word2vec-подобное представление с 80 измерениями. Я получаю точность снижения (38% со случайным = 20%) после 1 эпохи. Большее количество тренировок приводит к тому, что точность проверки начинает снижаться, когда точность обучения начинает расти - явный …

13 deep-learning  regularization  overfitting  lstm