Я начинаю с глубокого изучения, и у меня есть вопрос, ответ на который я не смог найти, возможно, я не искал должным образом. Я видел этот ответ , но до сих пор не ясно, что такое потеря веса и как она связана с функцией потери.
Я начинаю с глубокого изучения, и у меня есть вопрос, ответ на который я не смог найти, возможно, я не искал должным образом. Я видел этот ответ , но до сих пор не ясно, что такое потеря веса и как она связана с функцией потери.
Ответы:
Снижение веса указывает на регуляризацию в нейронной сети.
Во время обучения к потерям сети добавляется условие регуляризации для вычисления градиента обратного распространения. weight decayЗначение определяет , как этот термин доминирует регуляризация будет в вычислении градиента.
Как правило, чем больше у вас учебных примеров, тем слабее должен быть этот термин. Чем больше у вас параметров, тем выше должен быть этот термин.
Таким образом, снижение веса - это термин регуляризации, который штрафует большие веса. Когда коэффициент затухания веса велик, штраф за большие веса также велик, когда он мал, веса могут свободно расти.
Итак, теперь, если вы вернетесь к чтению ответа, который вы указали в своем вопросе, это будет иметь смысл сейчас.