Вопросы с тегом «neural-networks»

У меня есть модель глубокой нейронной сети, и мне нужно обучить ее на моем наборе данных, который состоит из около 100 000 примеров, мои данные проверки содержат около 1000 примеров. Поскольку для обучения каждого примера требуется время (около 0,5 с для каждого примера) и во избежание переобучения, я хотел бы …

20 neural-networks  deep-learning 

Почему в обучении глубоких и неглубоких нейронных сетей обычно используются градиентные методы (например, градиентный спуск, Нестеров, Ньютон-Рафсон), а не другие метаэвристики? Под метаэвристикой я подразумеваю такие методы, как имитация отжига, оптимизация колоний муравьев и т. Д., Которые были разработаны, чтобы избежать застревания в локальных минимумах.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Я использовал theano для экспериментов с LSTM, и мне было интересно, какие методы оптимизации (SGD, Adagrad, Adadelta, RMSprop, Adam и т. Д.) Лучше всего подходят для LSTM? Есть ли исследовательские работы на эту тему? Кроме того, зависит ли ответ от типа приложения, для которого я использую LSTM? Если это так, …

20 machine-learning  neural-networks  optimization  lstm 

Почему обратное распространение не работает, когда вы инициализируете все веса одним и тем же значением (скажем, 0,5), но работает нормально, когда заданы случайные числа? Разве алгоритм не должен вычислять ошибку и работать оттуда, несмотря на то, что веса изначально одинаковы?

20 machine-learning  neural-networks  backpropagation 

С точки зрения языка нейронной сети (у = вес * х + смещение), как я узнаю, какие переменные являются более важными, чем другие? У меня есть нейронная сеть с 10 входами, 1 скрытый слой с 20 узлами и 1 выходной слой с 1 узлом. Я не уверен, как узнать, какие …

20 machine-learning  neural-networks  bias  tensorflow  theano 

Я работаю над классификацией стадии сна. Я читал некоторые исследовательские статьи на эту тему, многие из них использовали SVM или метод ансамбля. Является ли хорошей идеей использовать сверточную нейронную сеть для классификации одномерного сигнала ЭЭГ? Я новичок в такой работе. Простите, если я спрошу что-то не так?

20 neural-networks  svm  conv-neural-network  signal-processing 

Мне любопытно узнать, насколько важен узел смещения для эффективности современных нейронных сетей. Я легко могу понять, что это может быть важно в мелкой сети с несколькими входными переменными. Однако современные нейронные сети, такие как глубокое обучение, часто имеют большое количество входных переменных, чтобы решить, запущен ли определенный нейрон. Будет ли …

19 neural-networks  deep-learning  bias-node 

У меня очень простая проблема, но я не могу найти правильный инструмент для ее решения. У меня есть некоторая последовательность векторов одинаковой длины. Теперь я хотел бы обучить LSTM RNN на выборке из этих последовательностей, а затем сделать это для предсказания новой последовательности векторов длины на основе нескольких векторов праймирования …

19 neural-networks  python  lstm 

RNN может использоваться для прогнозирования или преобразования последовательности в последовательность. Но как RNN можно использовать для классификации? Я имею в виду, мы даем всей последовательности одну метку.

19 machine-learning  neural-networks  rnn 

Я понимаю сверточный и объединяющий слои, но я не вижу причины для полностью связанного слоя в CNN. Почему предыдущий слой напрямую не связан с выходным слоем?

19 neural-networks  deep-learning  conv-neural-network 

Чтобы использовать SVM или нейронную сеть, необходимо преобразовать (закодировать) категориальные переменные в числовые переменные. Обычный метод в этом случае - использовать 0-1 двоичные значения с k-ным категориальным значением, преобразованным в (0,0, .. ., 1,0, ... 0) (1 находится в k-й позиции). Существуют ли другие способы сделать это, особенно когда существует …

19 machine-learning  neural-networks  categorical-data  svm  categorical-encoding 

Я часто слышу, как люди говорят о нейронных сетях, как о чёрном ящике, который вы не понимаете, что он делает или что они значат. Я на самом деле не могу понять, что они имеют в виду под этим! Если вы понимаете, как работает обратное распространение, то как это черный ящик? …

19 machine-learning  neural-networks 

Я получил небольшую путаницу с алгоритмом обратного распространения , используемым в многослойном персептроне (MLP). Ошибка корректируется функцией стоимости. В обратном распространении мы пытаемся отрегулировать вес скрытых слоев. Я могу понять ошибку вывода, то есть e = d - y[Без подписки]. Вопросы: Как получить ошибку скрытого слоя? Как рассчитать это? Если …

19 machine-learning  neural-networks  backpropagation 

Работая над проблемой регрессии, я начал думать о представлении функции «день недели». Интересно, какой подход будет работать лучше: одна особенность; значение 1/7 для понедельника; 2/7 для вторника ... 7 функций: (1, 0, 0, 0, 0, 0, 0) для понедельника; (0, 1, 0, 0, 0, 0, 0) для вторника ... Это …

19 machine-learning  neural-networks  feature-construction 

Вопрос может показаться немного странным, потому что я новичок в области статистического вывода и нейронных сетей. Когда в задачах классификации с использованием нейронных сетей мы говорим, что мы хотим изучить функцию которая отображает пространство входов на пространство выходов y : x yf∗f∗f^*xxxyyy f∗(x;θ)=yf∗(x;θ)=yf^*(x; \theta) = y Подгоняем ли мы параметры …

19 machine-learning  neural-networks