Вопросы с тегом «neural-networks»

Функция активации tanh: t a n h ( x ) = 2 ⋅ σ( 2 х ) - 1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Где , сигмовидная функция, определяется как: \ sigma (x) = \ frac {e ^ x} {1 + e …

82 machine-learning  neural-networks  optimization  cost-maximization 

В последние годы сверточные нейронные сети (или, возможно, глубокие нейронные сети в целом) стали глубже и глубже: современные сети переходят от 7 уровней ( AlexNet ) до 1000 слоев ( остаточных сетей) в пространстве 4 года. Причиной повышения производительности в более глубокой сети является то, что можно изучить более сложную …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

Эпоха в стохастическом градиентном спуске определяется как один проход данных. Для каждой мини-партии SGD отбирается Кkk выборок, вычисляется градиент и обновляются параметры. В настройках эпохи образцы оформляются без замены. Но это кажется ненужным. Почему бы не нарисовать каждый мини-пакет SGD как случайных отрисовок из всего набора данных на каждой итерации? …

69 neural-networks  deep-learning  gradient-descent 

Я только что слышал, что это хорошая идея, чтобы выбрать начальные веса нейронной сети из диапазона , где - это количество входов в данный нейрон. Предполагается, что множества нормализованы - среднее значение 0, дисперсия 1 (не знаю, имеет ли это значение).г( - 1d√, 1d√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})ddd Почему это …

68 neural-networks  normalization 

Рекуррентные нейронные сети отличаются от «обычных» тем, что имеют слой «памяти». Благодаря этому слою рекуррентные NN должны быть полезны при моделировании временных рядов. Тем не менее, я не уверен, что правильно понимаю, как их использовать. Допустим, у меня есть следующие временные ряды (слева направо): [0, 1, 2, 3, 4, 5, …

67 time-series  machine-learning  neural-networks 

Существуют ли общие рекомендации о том, где размещать выпадающие слои в нейронной сети?

65 neural-networks  dropout 

Я тренирую нейронную сеть, чтобы классифицировать набор объектов в n-классы. Каждый объект может принадлежать нескольким классам одновременно (несколько классов, несколько меток). Я читал, что для многоклассовых задач обычно рекомендуется использовать softmax и категориальную кросс-энтропию в качестве функции потерь вместо mse, и я более или менее понимаю, почему. Для моей проблемы …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Ребенку в возрасте 2 лет требуется около 5 экземпляров автомобиля, чтобы можно было с достаточной точностью идентифицировать его, независимо от цвета, марки и т. Д. Когда моему сыну было 2 года, он смог опознать трамваи и поезда, даже если он видел немного. Поскольку он обычно путал друг друга, очевидно, его …

64 neural-networks  neuroscience 

У меня складывается впечатление, что когда люди обращаются к сети «глубокого убеждения», это, по сути, нейронная сеть, но очень большая. Правильно ли это или сеть глубокого убеждения также подразумевает, что сам алгоритм отличается (т. Е. Нет нейронной сети с прямой связью, но, возможно, что-то с петлями обратной связи)?

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Я вижу, что многие алгоритмы машинного обучения работают лучше при средней отмене и выравнивании ковариации. Например, нейронные сети имеют тенденцию сходиться быстрее, а K-Means обычно дает лучшую кластеризацию с предварительно обработанными функциями. Я не вижу, что интуиция за этими этапами предварительной обработки приводит к повышению производительности. Может кто-нибудь объяснить это …

61 machine-learning  neural-networks  covariance  normalization 

В чем разница между прямой и рекуррентной нейронной сетью? Почему вы используете один поверх другого? Существуют ли другие сетевые топологии?

59 machine-learning  neural-networks  terminology  rnn  topologies 

Здесь и здесь я нашел два вопроса об этой проблеме, но пока нет очевидного ответа или объяснения. Я навязываю ту же проблему, где ошибка проверки меньше, чем ошибка обучения в моей Convolution Neural Network. Что это обозначает?

58 machine-learning  mathematical-statistics  neural-networks  cross-validation 

Как PCA, так и autoencoder могут уменьшать размер, так в чем же разница? В какой ситуации я должен использовать один над другим?

56 machine-learning  pca  neural-networks  autoencoders 

Мне было интересно, есть ли хорошие библиотеки R для глубокого изучения нейронных сетей? Я знаю , что это nnet, neuralnetи RSNNS, но ни один из них не кажется , осуществить глубокие методы обучения. Меня особенно интересует неконтролируемое обучение с последующим обучением и использование отсева для предотвращения коадаптации . / edit: …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

Может кто-нибудь объяснить, что такое глобальный уровень максимального пула и почему и когда мы используем его для обучения нейронной сети. Есть ли у них какое-либо преимущество перед обычным максимальным слоем пула?

55 neural-networks  conv-neural-network  pooling