Вопросы с тегом «deep-learning»

Я читал статью о пакетной нормализации (BN) (1) и не понимал необходимости использовать скользящие средние для отслеживания точности модели, и даже если я признал, что это было правильно, я не понимаю что они делают точно. Насколько я понимаю (что я могу ошибаться), в статье упоминается, что она использует статистику населения, …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Я обнаружил, что в реализации ResNet от Tensorflow они используют инициализатор дисперсионного масштабирования, а также популярный инициализатор xavier . У меня нет большого опыта в этом, что лучше на практике?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

Со всеми разговорами в средствах массовой информации и шумихой о глубоком изучении в эти дни я прочитал некоторые элементарные вещи об этом. Я только что обнаружил, что это просто еще один метод машинного обучения для изучения шаблонов на основе данных. Но мой вопрос: где и почему этот метод светит? Почему …

20 machine-learning  data-mining  deep-learning  deep-belief-networks 

У меня есть модель глубокой нейронной сети, и мне нужно обучить ее на моем наборе данных, который состоит из около 100 000 примеров, мои данные проверки содержат около 1000 примеров. Поскольку для обучения каждого примера требуется время (около 0,5 с для каждого примера) и во избежание переобучения, я хотел бы …

20 neural-networks  deep-learning 

Почему в обучении глубоких и неглубоких нейронных сетей обычно используются градиентные методы (например, градиентный спуск, Нестеров, Ньютон-Рафсон), а не другие метаэвристики? Под метаэвристикой я подразумеваю такие методы, как имитация отжига, оптимизация колоний муравьев и т. Д., Которые были разработаны, чтобы избежать застревания в локальных минимумах.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Мне любопытно узнать, насколько важен узел смещения для эффективности современных нейронных сетей. Я легко могу понять, что это может быть важно в мелкой сети с несколькими входными переменными. Однако современные нейронные сети, такие как глубокое обучение, часто имеют большое количество входных переменных, чтобы решить, запущен ли определенный нейрон. Будет ли …

19 neural-networks  deep-learning  bias-node 

Я понимаю сверточный и объединяющий слои, но я не вижу причины для полностью связанного слоя в CNN. Почему предыдущий слой напрямую не связан с выходным слоем?

19 neural-networks  deep-learning  conv-neural-network 

Я понимаю основную структуру вариационного автоэнкодера и нормального (детерминированного) автоэнкодера и математическую схему, стоящую за ними, но когда и почему я предпочел бы один тип автоэнкодера другому? Все, о чем я могу думать, - это предварительное распределение скрытых переменных вариационного автоэнкодера, которое позволяет нам выбирать скрытые переменные и затем создавать …

19 deep-learning  autoencoders  variational-bayes 

Есть ли разница между «трансферным обучением» и «адаптацией предметной области»? Я не знаю насчет контекста, но, насколько я понимаю, у нас есть некоторый набор данных 1, и мы обучаем его, после чего у нас есть еще один набор данных 2, для которого мы хотим адаптировать нашу модель без переобучения с …

19 deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 

Наиболее распространенные сверточные нейронные сети содержат слои пула для уменьшения размеров выходных объектов. Почему я не могу достичь того же, просто увеличив шаг сверточного слоя? Что делает необходимым объединение слоев?

18 deep-learning  conv-neural-network  pooling 

Мои профессора физики в аспирантуре, а также благородный лауреат Фейнман всегда представляли то, что они называли игрушечными моделями, чтобы проиллюстрировать основные понятия и методы в физике, такие как гармонический осциллятор, маятник, волчок и черный ящик. Какие модели игрушек используются для иллюстрации основных концепций и методов, лежащих в основе применения нейронных …

18 machine-learning  neural-networks  deep-learning 

Я ищу статьи или тексты, которые сравнивают и обсуждают (эмпирически или теоретически): Алгоритмы деревьев повышения и принятия решений , такие как Random Forests или AdaBoost , и GentleBoost, применяются к деревьям решений. с Методы глубокого обучения, такие как ограниченные машины Больцмана , иерархическая временная память , сверточные нейронные сети и …

18 machine-learning  deep-learning  cart  rbm  adaboost 

Многие учебники онлайн рассказывают о градиентном спуске, и почти во всех из них используется фиксированный размер шага (скорость обучения ). Почему не используется поиск строк (например, поиск по линии с возвратом или точный поиск по строке)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Мы определяем эпоху как пройденную через все доступные обучающие выборки, а размер мини-пакета как число выборок, по которым мы усредняем, чтобы найти обновления весов / смещений, необходимые для снижения градиента. Мой вопрос заключается в том, следует ли нам рисовать без замены из набора обучающих примеров, чтобы генерировать каждую мини-серию в …

18 machine-learning  neural-networks  optimization  deep-learning 

У меня есть пара вопросов, которые смущают меня относительно CNN. 1) Функции, извлеченные с использованием CNN, инвариантны относительно масштаба и вращения? 2) Ядра, которые мы используем для свертки с нашими данными, уже определены в литературе? что это за ядра? это отличается для каждого приложения?

18 neural-networks  deep-learning  conv-neural-network