Вопросы с тегом «neural-networks»

Я построил некоторые нейронные сети (MLP (полностью подключенные), Elman (рекуррентные)) для различных задач, таких как игра в понг, классификация рукописных цифр и прочее ... Кроме того, я попытался создать несколько первых сверточных нейронных сетей, например, для классификации многозначных рукописных заметок, но я совершенно новичок в анализе и кластеризации текстов, например, …

15 clustering  neural-networks  feature-selection  text-mining  self-organizing-maps 

Когда мы углубимся в литературу по нейронным сетям , мы сможем идентифицировать другие методы с нейроморфными топологиями (архитектура, подобная «нейронной сети»). И я не говорю о теореме универсального приближения . Примеры приведены ниже. Тогда это заставляет меня задуматься: каково определение искусственной нейронной сети? Его топология, кажется, охватывает все. Примеры: Одна …

15 machine-learning  neural-networks  deep-learning  unsupervised-learning  supervised-learning 

Я не нашел удовлетворительного ответа на этот вопрос от Google . Конечно, если у меня есть данные порядка нескольких миллионов, то глубокое обучение - это путь. И я прочитал, что, когда у меня нет больших данных, тогда, возможно, лучше использовать другие методы в машинном обучении. Приведенная причина является чрезмерной. Машинное …

15 regression  machine-learning  classification  neural-networks  deep-learning 

Я пытаюсь научиться использовать нейронные сети. Я читал этот урок . После подбора нейронной сети по временному ряду, используя значение в для прогнозирования значения в момент времени t + 1, автор получает следующий график, где синяя линия - это временной ряд, зеленый - это прогноз данных поезда, красный - это …

15 time-series  neural-networks  predictive-models  deep-learning  prediction 

В какой момент мы начинаем классифицировать многослойные нейронные сети как глубокие нейронные сети или иначе говоря: «Каково минимальное количество слоев в глубокой нейронной сети?»

15 machine-learning  neural-networks  deep-learning  terminology 

Когда я реализовал мини-пакетный градиент приличный, я просто усреднил градиенты всех примеров в обучающей партии. Тем не менее, я заметил, что сейчас оптимальная скорость обучения намного выше, чем для приличного онлайн градиента. Моя интуиция заключается в том, что это происходит из-за того, что усредненный градиент менее шумный и, таким образом, …

15 neural-networks  gradient-descent  backpropagation 

Если у меня есть сверточная нейронная сеть (CNN), которая имеет около 1 000 000 параметров, сколько нужно обучающих данных (предположим, я делаю стохастический градиентный спуск)? Есть ли эмпирическое правило? Дополнительные примечания: Когда я выполнил стохастический градиентный спуск (например, 64 патча за 1 итерацию), после ~ 10000 итераций точность классификатора может …

15 machine-learning  neural-networks  deep-learning  conv-neural-network 

В качестве продолжения Моей нейронной сети не могу даже изучить евклидово расстояние, я упростил еще больше и попытался обучить один ReLU (со случайным весом) одному ReLU. Это самая простая сеть, которая существует, и все же половину времени она не может сходиться. Если исходное предположение имеет ту же ориентацию, что и …

15 machine-learning  neural-networks  optimization  keras 

Может кто-нибудь сказать мне, как я должен построить нейронную сеть, используя пакетный метод? Я прочитал, что в пакетном режиме для всех выборок в обучающем наборе мы вычисляем ошибку, дельту и, следовательно, веса дельты для каждого нейрона в сети, а затем вместо немедленного обновления весов мы накапливаем их, а затем перед …

15 machine-learning  neural-networks 

Что является производной функции активации ReLU, определенной как: R e L U ( x ) = m a x ( 0 , x )ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) А как насчет частного случая, когда в функции при есть разрыв ?х = 0x=0x=0

15 self-study  neural-networks 

Во время мини-пакетного обучения нейронной сети я слышал, что важной практикой является перетасовывание данных обучения перед каждой эпохой. Может кто-нибудь объяснить, почему тасование в каждую эпоху помогает? Из поиска Google, я нашел следующие ответы: это помогает тренировке сходиться быстро предотвращает смещение во время тренировки это мешает модели узнать порядок обучения …

15 neural-networks 

Я читал об оптимизаторе Адама для глубокого обучения и натолкнулся на следующее предложение в новой книге Бегнио, Гудфеллоу и Кортвилла « Глубокое обучение »: Адам включает поправки смещения к оценкам как моментов первого порядка (члена импульса), так и (нецентрированных) моментов второго порядка, чтобы учесть их инициализацию в начале координат. Кажется, …

15 machine-learning  neural-networks  optimization  conv-neural-network  adam 

Места, которые я читал о проклятии размерности, объясняют его в первую очередь в связи с kNN и линейными моделями в целом. Я регулярно вижу топ-рейтингов в Kaggle, использующих тысячи функций в наборе данных, который вряд ли имеет 100 тыс. Точек данных. Они в основном используют Boosted деревья и NN, среди …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

В базовом машинном обучении нас учат следующим «правилам большого пальца»: а) размер ваших данных должен как минимум в 10 раз превышать размер VC вашего набора гипотез. б) нейронная сеть с N соединениями имеет размерность VC приблизительно N. Итак, когда в нейронной сети с глубоким обучением говорят, миллионы единиц, значит ли …

15 machine-learning  neural-networks  deep-learning  vc-dimension 

В сверточных нейронных сетях (CNN) матрица весов на каждом шаге переворачивает свои строки и столбцы для получения матрицы ядра, прежде чем приступить к свертке. Это объясняется в серии видео Хьюго Ларошелле здесь : Вычисление скрытых карт будет соответствовать выполнению дискретной свертки с каналом из предыдущего уровня с использованием матрицы ядра …

14 machine-learning  neural-networks  conv-neural-network  convolution