Вопросы с тегом «backpropagation»

Это небольшой концептуальный вопрос, который мучил меня некоторое время: как мы можем распространяться обратно через слой максимального пула в нейронной сети? Я наткнулся на слои с максимальным объединением, проходя этот урок для библиотеки nn в Torch 7. Библиотека абстрагирует вычисление градиента и прямые проходы для каждого слоя глубокой сети. Я …

62 neural-network  backpropagation 

Я использую нейронные сети уже некоторое время. Тем не менее, одна вещь, с которой я постоянно борюсь, это выбор оптимизатора для обучения сети (используя backprop). Что я обычно делаю, так это просто начинаю с одного (например, стандартного SGD), а затем пробую другие другие довольно случайно. Мне было интересно, есть ли …

18 neural-network  optimization  backpropagation 

У меня есть некоторые трудности с получением обратного распространения с помощью ReLU, и я проделал некоторую работу, но я не уверен, что я на правильном пути. Функция стоимости: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2гдеyyyпредставляет собой реальное значение, и у представляет собой предсказанное значение. Также предположим, чтоx> 0 всегда.y^y^\hat yxxx 1 слой ReLU, где вес …

17 neural-network  backpropagation 

Буду ли я переоснащать свой LSTM, если я обучу его с помощью метода скользящих окон? Почему люди не используют его для LSTM? Для упрощенного примера предположим, что мы должны предсказать последовательность символов: A B C D E F G H I J K L M N O P Q R …

15 lstm  backpropagation  mini-batch-gradient-descent 

У меня есть следующий CNN: Я начинаю с входного изображения размером 5х5 Затем я применяю свертку, используя ядро ​​2x2 и шаг = 1, что дает карту характеристик размером 4x4. Затем я применяю максимальный пул 2x2 с шагом = 2, который уменьшает карту объектов до размера 2x2. Затем я применяю логистический …

15 machine-learning  convnet  backpropagation  cnn  kernel 

У меня есть небольшой подвопрос к этому вопросу . Я понимаю, что при обратном распространении через слой максимального пула градиент направляется обратно таким образом, что нейрон в предыдущем слое, который был выбран как максимальный, получает весь градиент. В чем я не уверен на 100%, так это как градиент в следующем …

13 machine-learning  neural-network  convnet  backpropagation 

Я пытаюсь выяснить, сколько весов и уклонов необходимо для CNN. Скажем, у меня есть (3, 32, 32) -изображение и я хочу применить (32, 5, 5) -фильтр. Для каждой карты объектов у меня есть веса 5x5, поэтому у меня должно быть 3 x (5x5) x 32 параметра. Теперь мне нужно добавить …

11 deep-learning  convnet  backpropagation