Вопросы с тегом «batch-normalization»

1
Статья. В чем разница между нормализацией слоев, периодической нормализацией партии (2016 г.) и нормализованной партией RNN (2015 г.)?
Итак, недавно появилась статья о нормализации слоя . Есть также реализация этого на Керасе. Но я помню, что есть статьи под названием Рекуррентная пакетная нормализация (Cooijmans, 2016) и Пакетная нормализованная рекуррентная нейронная сеть (Laurent, 2015). В чем разница между этими тремя? Есть раздел «Связанные работы», который я не понимаю: Пакетная …
2
Означает ли пакетная нормализация, что сигмоиды работают лучше, чем ReLU?
Пакетная нормализация и ReLU являются решениями проблемы исчезающего градиента. Если мы используем пакетную нормализацию, должны ли мы тогда использовать сигмоиды? Или есть функции ReLU, которые делают их полезными даже при использовании batchnorm? Я предполагаю, что нормализация, выполненная в batchnorm, отправит ноль активаций отрицательно. Означает ли это, что batchnorm решает проблему …
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.