Вопросы с тегом «deep-learning»

Аль Рахими недавно выступил с весьма провокационным докладом в NIPS 2017, сравнивая современное машинное обучение с алхимией. Одним из его утверждений является то, что нам нужно вернуться к теоретическим разработкам, чтобы иметь простые теоремы, доказывающие основополагающие результаты. Когда он сказал это, я начал искать основные теоремы для ML, но не …

45 machine-learning  deep-learning  theory 

Я пытаюсь понять сверточную часть сверточных нейронных сетей. Глядя на следующий рисунок: У меня нет проблем с пониманием первого слоя свертки, где у нас есть 4 разных ядра (размером ), которые мы сворачиваем с входным изображением для получения 4 карт характеристик.к × кК×Кk \times k Что я не понимаю, так …

44 machine-learning  neural-networks  deep-learning  conv-neural-network 

Я хочу изучать нейронные сети. Я вычислительный лингвист. Я знаю подходы статистического машинного обучения и умею кодировать на Python. Я хочу начать с его концепций и знаю одну или две популярные модели, которые могут быть полезны с точки зрения компьютерной лингвистики. Я просмотрел сеть для справки и нашел несколько книг …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

Я обнаружил, что Imagenet и другие крупные CNN используют слои нормализации локального отклика. Однако я не могу найти столько информации о них. Насколько они важны и когда их следует использовать? С http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : «Уровень нормализации локального отклика выполняет своего рода« боковое торможение »путем нормализации по локальным входным областям. В режиме …

41 deep-learning  convolution  conv-neural-network 

Я нашел выпрямленную линейную единицу (ReLU), восхваляемую в нескольких местах как решение проблемы исчезающего градиента для нейронных сетей. То есть, в качестве функции активации используется max (0, x). Когда активация положительна, очевидно, что это лучше, чем, скажем, функция активации сигмоида, поскольку ее вывод всегда равен 1, а не сколь угодно …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Я ищу статью, которая могла бы помочь дать руководство о том, как выбирать гиперпараметры глубокой архитектуры, такие как многоуровневые авто-кодеры или сети с глубоким доверием. Существует много гиперпараметров, и я очень запутался в том, как их выбирать. Также использование перекрестной проверки не вариант, так как обучение действительно занимает много времени!

38 machine-learning  deep-learning  deep-belief-networks  hyperparameter 

Проблема, с которой я часто сталкивался в контексте нейронных сетей в целом и глубоких нейронных сетей в частности, заключается в том, что они «жаждут данных» - то есть они плохо работают, если у нас нет большого набора данных с помощью которого тренируется сеть. Насколько я понимаю, это связано с тем, …

37 neural-networks  deep-learning  regularization 

Я тренирую нейронную сеть, и потери на обучение уменьшаются, но потери на валидацию не уменьшаются или уменьшаются намного меньше, чем я ожидал, основываясь на ссылках или экспериментах с очень похожими архитектурами и данными. Как я могу это исправить? Что касается вопроса Что мне делать, если моя нейронная сеть не учится? …

37 neural-networks  deep-learning 

В чем разница между терминами «ядро» и «фильтр» в контексте сверточных нейронных сетей?

37 neural-networks  terminology  deep-learning  conv-neural-network 

Я создаю сверточную нейронную сеть (CNN), где у меня есть сверточный слой, за которым следует слой пула, и я хочу применить выпадение для уменьшения переобучения. У меня такое чувство, что слой удаления должен быть применен после слоя объединения, но у меня нет ничего, чтобы поддержать это. Где правильное место для …

35 deep-learning  conv-neural-network  dropout 

Разреженное кодирование определяется как изучение слишком полного набора базовых векторов для представления входных векторов (<- зачем нам это нужно). Каковы различия между разреженным кодированием и автоэнкодером? Когда мы будем использовать разреженное кодирование и автоэнкодер?

35 machine-learning  neural-networks  unsupervised-learning  deep-learning  autoencoders 

Кто-нибудь видел какую-нибудь литературу по предварительной подготовке в глубокой сверточной нейронной сети? Я видел только неконтролируемую предварительную подготовку в автоэнкодере или ограниченных машинах Больцмана.

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

Компьютеры в течение долгого времени могли играть в шахматы, используя метод "грубой силы", исследуя определенную глубину и затем оценивая позицию. Компьютер AlphaGo, однако, использует только ANN для оценки позиций (насколько я знаю, он не выполняет поиск по глубине). Можно ли создать шахматный движок, который будет играть в шахматы так же, …

32 neural-networks  deep-learning  reinforcement-learning  games 

Введение Фон Внутри сверточной нейронной сети мы обычно имеем общую структуру / поток, который выглядит следующим образом: входное изображение (т.е. 2D вектор x) (1-й сверточный слой (Conv1) начинается здесь ...) свертывать набор фильтров ( w1) вдоль двумерного изображения (т. е. делать z1 = w1*x + b1умножения точечного произведения), где z13D …

32 neural-networks  deep-learning  conv-neural-network 

Хинтон и Салахутдинов в статье « Сокращение размерности данных с помощью нейронных сетей», Science 2006, предложили нелинейный PCA за счет использования глубокого автоэнкодера. Я несколько раз пытался построить и обучить автоэнкодер PCA с Tensorflow, но мне никогда не удавалось получить лучший результат, чем линейный PCA. Как эффективно обучить автоэнкодеру? (Позднее …

31 pca  python  deep-learning  tensorflow  autoencoders