2
Почему кросс-энтропия стала стандартной функцией потерь классификации, а не дивергенцией Кульбека-Лейблера?
Перекрестная энтропия идентична дивергенции KL плюс энтропия распределения цели. KL равняется нулю, когда два распределения одинаковы, что мне кажется более интуитивным, чем энтропия целевого распределения, то есть то, что перекрестная энтропия находится на совпадении. Я не говорю, что в одном другом есть больше информации, за исключением того, что человеческий взгляд …