Вопросы с тегом «batch-normalization»

Я читал статью о пакетной нормализации (BN) (1) и не понимал необходимости использовать скользящие средние для отслеживания точности модели, и даже если я признал, что это было правильно, я не понимаю что они делают точно. Насколько я понимаю (что я могу ошибаться), в статье упоминается, что она использует статистику населения, …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Насколько я понимаю, пакетная норма нормализует все входные объекты слоя до единичного нормального распределения, N( μ = 0 , σ= 1 )N(μзнак равно0,σзнак равно1)\mathcal{N}(\mu=0,\sigma=1) . Среднее значение и дисперсия оцениваются путем измерения их значений для текущей мини-партии.μ , σ2μ,σ2\mu, \sigma^2 После нормализации входы масштабируются и сдвигаются на скалярные значения: Икс^'я= …

13 batch-normalization 

Нормализация партии была приписана существенным улучшениям производительности в глубоких нейронных сетях. Много материала в интернете показывает, как реализовать его на основе активации за активацию. Я уже реализовал backprop, используя матричную алгебру, и учитывая, что я работаю на языках высокого уровня (полагаясь Rcpp(и, в конечном итоге, на GPU) на плотное матричное …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization