Вопросы с тегом «neural-networks»

В последнее время я работал над алгоритмами повышения обучаемости, такими как adaboost, ускорение градиента, и я знал тот факт, что наиболее часто используемым слабым учеником являются деревья. Я действительно хочу знать, есть ли некоторые недавние успешные примеры (я имею в виду некоторые статьи или статьи) для использования нейронных сетей в …

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Я хотел бы знать, существует ли код для обучения сверточной нейронной сети для классификации временных рядов. Я видел несколько недавних работ ( http://www.fer.unizg.hr/_download/repository/KDI-Djalto.pdf ), но я не уверен, существует ли что-то или я должен написать это самостоятельно.

21 time-series  classification  neural-networks  conv-neural-network 

По сути, мой вопрос заключается в том, что в многослойных персептронах персептроны используются с сигмовидной активационной функцией. Так что в правиле обновления у вычисляется какY^Y^\hat{y} Y^= 11 + опыт( - шTИкся)Y^знак равно11+ехр⁡(-весTИкся)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Чем этот «сигмовидный» персептрон отличается от логистической регрессии? Я бы сказал , что однослойный персептрон сигмовидной …

21 logistic  classification  neural-networks  gradient-descent  perceptron 

Для линейной модели y=β0+xβ+εYзнак равноβ0+Иксβ+εy=\beta_0+x\beta+\varepsilon сжимающий член всегда равен P(β)п(β)P(\beta) . В чем причина того, что мы не уменьшаем смещение (перехват) члена β0β0\beta_0 ? Должны ли мы сократить срок смещения в моделях нейронных сетей?

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

Ограничение стандартных алгоритмов нейронной сети (например, backprop) заключается в том, что вам необходимо принять решение о том, сколько скрытых слоев и нейронов на слой вы хотите. Как правило, скорость обучения и обобщения очень чувствительны к этому выбору. Это было причиной, почему алгоритмы нейронной сети, такие как каскадная корреляция , вызывают …

21 neural-networks 

Вот, посмотрите: вы можете точно увидеть, где заканчиваются тренировочные данные. Тренировочные данные идут от до 1 .- 1-1-1111 Я использовал Keras и плотную сеть 1-100-100-2 с активацией tanh. Я вычисляю результат по двум значениям, p и q как p / q. Таким образом, я могу получить любой размер числа, используя …

21 regression  neural-networks  python  keras 

На этот вопрос уже есть ответы здесь : Как изменение функции стоимости может быть положительным? (1 ответ) Что мне делать, если моя нейронная сеть не учится? (5 ответов) Закрыто в прошлом месяце . Я тренирую модель (Recurrent Neural Network), чтобы классифицировать 4 типа последовательностей. Во время тренировок я вижу, что …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

Часто упоминается, что выпрямленные линейные единицы (ReLU) вытеснили единицы softplus, потому что они линейны и быстрее вычисляются. Есть ли у softplus преимущество в том, что оно вызывает редкость или оно ограничено ReLU? Причина, по которой я спрашиваю, заключается в том, что я задаюсь вопросом о негативных последствиях нулевого уклона ReLU. …

21 machine-learning  neural-networks 

Я читал статью о пакетной нормализации (BN) (1) и не понимал необходимости использовать скользящие средние для отслеживания точности модели, и даже если я признал, что это было правильно, я не понимаю что они делают точно. Насколько я понимаю (что я могу ошибаться), в статье упоминается, что она использует статистику населения, …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Применение функции softmax к вектору даст «вероятности» и значения между и . 000111 Но мы также можем разделить каждое значение на сумму вектора, и это даст вероятности и значения между и .000111 Я прочитал ответ здесь, но он говорит, что причина в том, что он дифференцируем, хотя обе функции дифференцируемы.

20 machine-learning  neural-networks  softmax 

Я обнаружил, что в реализации ResNet от Tensorflow они используют инициализатор дисперсионного масштабирования, а также популярный инициализатор xavier . У меня нет большого опыта в этом, что лучше на практике?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

Я имею дело с байесовской иерархической линейной моделью , здесь описывается сеть. представляет ежедневные продажи продукта в супермаркете (наблюдается).YYY - известная матрица регрессоров, включая цены, акции, день недели, погоду, праздники.XXX - неизвестный уровень скрытого запаса каждого продукта, который вызывает большинство проблем и который я считаю вектором двоичных переменных, по одному …

20 regression  bayesian  neural-networks  generalized-linear-model  bayesian-network 

Я тренирую нейронную сеть (детали не важны), где целевые данные - это вектор углов (между 0 и 2 * пи). Я ищу совет о том, как кодировать эти данные. Вот что я сейчас пытаюсь (с ограниченным успехом): 1) Кодирование 1-в-C: я устанавливаю возможные углы в 1000 или около того дискретных …

20 neural-networks  circular-statistics 

У меня есть нейронная сеть, настроенная для предсказания чего-то, где выходная переменная является порядковой. Я опишу ниже, используя три возможных выхода A <B <C. Совершенно очевидно, как использовать нейронную сеть для вывода категориальных данных: выходные данные - это просто максимальное значение последнего (обычно полностью подключенного) слоя, по одному на категорию, …

20 neural-networks  ordinal-data  softmax 

Я пытаюсь понять различные архитектуры рекуррентных нейронных сетей (RNN), которые должны применяться к данным временных рядов, и меня немного путают с разными именами, которые часто используются при описании RNN. Является ли структура долгосрочной кратковременной памяти (LSTM) и Gated Recurrent Unit (GRU) по сути RNN с контуром обратной связи?

20 neural-networks  lstm  rnn