Вопросы с тегом «neural-networks»

Я смотрю на функцию стоимости кросс-энтропии, найденную в этом уроке : C=−1n∑x[ylna+(1−y)ln(1−a)]C=−1n∑x[yln⁡a+(1−y)ln⁡(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] Что именно мы подводим? Это, конечно, над xxx , но yyy и aaa не меняются с xxx . Все xxx являются входами в один aaa . aaa даже определяется в абзаце выше …

10 neural-networks  error-propagation 

Мне было интересно, можно ли обучить SVM (скажем, линейный, чтобы упростить задачу) с использованием обратного распространения? В настоящее время я нахожусь в затруднительном положении, потому что я могу думать только о том, чтобы записать вывод классификатора как f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b))f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b)) f(\mathbf{x};\theta,b) = \text{sgn}(\theta\cdot\mathbf{x} - (b+1)) = \text{sgn}(g(\mathbf{x};\theta,b)) Следовательно, когда мы пытаемся вычислить …

10 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

Я понимаю, что предварительная подготовка используется, чтобы избежать некоторых проблем с обычным обучением. Если я использую обратное распространение, скажем, с помощью автоматического кодера, я знаю, что у меня возникнут проблемы со временем, потому что обратное распространение идет медленно, а также что я могу застрять в локальном оптимуме и не изучить …

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

В задачах компьютерного зрения, таких как классификация объектов, с помощью сверточных нейронных сетей (CNN), сеть обеспечивает привлекательную производительность. Но я не уверен, как настроить параметры в сверточных слоях. Например, в градациях серого изображения ( 480x480) первый сверточный слой может использовать сверточный оператор, например 11x11x10, где число 10 означает количество сверточных …

10 neural-networks  deep-learning  conv-neural-network  computer-vision 

Я немного слышал об использовании нейронных сетей для прогнозирования временных рядов. Как я могу сравнить, какой метод для прогнозирования моих временных рядов (ежедневные данные о розничных продажах) лучше: auto.arima (x), ets (x) или nnetar (x). Я могу сравнить auto.arima с ETS по AIC или BIC. Но как я могу сравнить …

10 r  neural-networks  forecasting  arima  exponential-smoothing 

Я новичок в анализе выживания, и недавно я узнал, что есть разные способы сделать это с определенной целью. Я заинтересован в фактической реализации и целесообразности этих методов. Мне представили традиционные модели пропорционального риска Кокса , модели времени ускоренного отказа и нейронные сети (многослойный персептрон) в качестве методов для выживания пациента, …

10 r  machine-learning  survival  neural-networks  cox-model 

Я попал в ситуацию, когда веса моей нейронной сети не сходятся даже после 500 итераций. Моя нейронная сеть содержит 1 входной слой, 1 скрытый слой и 1 выходной слой. Это около 230 узлов на входном слое, 9 узлов на скрытом слое и 1 выходной узел на выходном слое. Я хотел …

10 machine-learning  neural-networks 

И логистическая функция, и стандартное отклонение обычно обозначаются . Я буду использовать и для стандартного отклонения.σσ\sigmaσ(x)=1/(1+exp(−x))σ(x)=1/(1+exp⁡(−x))\sigma(x) = 1/(1+\exp(-x))sss У меня есть логистический нейрон со случайным входом которого среднего и стандартное отклонение я знаю. Я надеюсь, что разница от среднего значения может быть хорошо аппроксимирована некоторым гауссовским шумом. Итак, с небольшим …

10 distributions  normal-distribution  neural-networks  mathematical-statistics  expected-value 

В документах DeepMind AlphaGo Zero и AlphaZero они описывают добавление шума Дирихле к предыдущим вероятностям действий от корневого узла (состояния платы) в Поиске дерева Монте-Карло: Дополнительное исследование достигается путем добавления шума Дирихле к предшествующим вероятностям в корневом узле , в частности, , где и ; этот шум гарантирует, что все …

10 machine-learning  neural-networks  dirichlet-distribution 

В статье под названием « Глубокое обучение и принцип узкого места в информации» авторы утверждают в разделе II А) следующее: Одиночные нейроны классифицируют только линейно разделимые входы, поскольку они могут реализовывать только гиперплоскости в своем входном пространстве u=wh+bu=wh+bu = wh+b . Гиперплоскости могут оптимально классифицировать данные, когда входные данные условно …

10 bayesian  neural-networks  information-theory 

В недавней статье WaveNet авторы ссылаются на свою модель как на сложенные слои расширенных извилин. Они также производят следующие диаграммы, объясняющие разницу между «обычными» сверточными и дилатационными сверточками. Обычные свертки выглядят так: Это свертка с размером фильтра 2 и шагом 1, повторяющимся для 4 слоев. Затем они показывают архитектуру, используемую …

10 neural-networks  deep-learning  conv-neural-network  tensorflow 

Я прочитал о SVM и узнал, что они решают проблему оптимизации, и идея максимальной маржи была очень разумной. Теперь, используя ядра, они могут найти даже нелинейные границы разделения, что было здорово. До сих пор я действительно не представляю, как SVM (специальная машина ядра) и машины ядра связаны с нейронными сетями? …

10 machine-learning  neural-networks  svm  deep-learning  kernel-trick 

Я использую Двунаправленный RNN, чтобы обнаружить случай несбалансированного события. Положительный класс в 100 раз реже, чем отрицательный. Пока не используется регуляризация, я могу получить 100% точность в наборе поездов и 30% в наборе проверки. Я включаю регуляризацию l2, и в результате получается набор только для 30% точности набора поездов вместо …

10 neural-networks  deep-learning  regularization  rnn 

Я пытаюсь понять архитектуру RNN. Я нашел этот учебник, который был очень полезен: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Особенно это изображение: Как это вписывается в сеть прямой связи? Является ли это изображение просто еще одним узлом в каждом слое?

10 neural-networks  lstm 

У меня есть несбалансированный набор данных в задаче двоичной классификации, где количество положительных и отрицательных значений составляет 0,3% против 99,7%. Разрыв между позитивами и негативами огромен. Когда я тренирую CNN со структурой, используемой в задаче MNIST, результат тестирования показывает высокий уровень ложных отрицательных результатов. Кроме того, кривая ошибок обучения быстро …

10 classification  neural-networks  deep-learning  convolution  computer-vision