Вопросы с тегом «cross-entropy»

Я тренирую нейронную сеть, чтобы классифицировать набор объектов в n-классы. Каждый объект может принадлежать нескольким классам одновременно (несколько классов, несколько меток). Я читал, что для многоклассовых задач обычно рекомендуется использовать softmax и категориальную кросс-энтропию в качестве функции потерь вместо mse, и я более или менее понимаю, почему. Для моей проблемы …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Я пытаюсь понять, как работает обратное распространение для выходного слоя softmax / cross-entropy. Функция кросс-энтропийной ошибки E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j с и в качестве цели и выхода на нейроне соответственно. Сумма по каждому нейрону в выходном слое. Сам является результатом функции softmax:tttooojjjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} Опять же, сумма по каждому нейрону …

40 backpropagation  derivative  softmax  cross-entropy 

На мой взгляд, расхождение KL от распределения выборки до истинного распределения - это просто разница между кросс-энтропией и энтропией. Почему мы используем перекрестную энтропию как функцию стоимости во многих моделях машинного обучения, но используем расхождение Кульбака-Лейблера в t-sne? Есть ли разница в скорости обучения?

39 kullback-leibler  tsne  cross-entropy 

Прежде всего, я понял, что если мне нужно выполнить двоичные предсказания, я должен создать как минимум два класса, выполняя горячее кодирование. Это верно? Однако является ли двоичная кросс-энтропия только для предсказаний только с одним классом? Если бы я использовал категориальную кросс-энтропийную потерю, которая обычно встречается в большинстве библиотек (например, TensorFlow), …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

В 5.5 « Глубокое обучение» (Йен Гудфеллоу, Йошуа Бенжио и Аарон Курвилль) говорится, что Любая потеря, состоящая из отрицательного логарифмического правдоподобия, является кросс-энтропией между эмпирическим распределением, определенным обучающим набором, и распределением вероятности, определенным моделью. Например, среднеквадратическая ошибка - это кросс-энтропия между эмпирическим распределением и гауссовой моделью. Я не могу понять, …

28 machine-learning  normal-distribution  cross-entropy 

При обучении нейронных сетей пиксельной сегментации, таких как полностью сверточные сети, как вы принимаете решение использовать функцию кросс-энтропийной потери в сравнении с функцией потери коэффициента Кости? Я понимаю, что это короткий вопрос, но не совсем уверен, какую другую информацию предоставить. Я просмотрел кучу документации о двух функциях потери, но не …

27 neural-networks  loss-functions  cross-entropy 

Я немного экспериментирую с автоэнкодерами, и с помощью tenorflow я создал модель, которая пытается восстановить набор данных MNIST. Моя сеть очень проста: X, e1, e2, d1, Y, где e1 и e2 - уровни кодирования, d2 и Y - уровни декодирования (а Y - восстановленный выход). X имеет 784 единиц, e1 …

21 mse  autoencoders  tensorflow  cross-entropy 

Имеет ли смысл перекрестная энтропия в контексте регрессии (в отличие от классификации)? Если да, не могли бы вы привести пример с игрушкой через TensorFlow? Если нет, то почему нет? Я читал о кросс-энтропии в Neural Networks и Deep Learning Майкла Нильсена, и кажется, что это то, что естественно можно использовать …

13 regression  entropy  tensorflow  cross-entropy 

Я начал с изучения нейронных сетей с помощью учебника по нейронным сетям и углублённому изучению точек. В частности, в 3-й главе есть раздел о функции кросс-энтропии, который определяет потерю кросс-энтропии как: С= - 1NΣИксΣJ( уJперaLJ+ ( 1 - уJ) пер( 1 - аLJ) )C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln …

12 neural-networks  loss-functions  softmax  cross-entropy 

Я понимаю, что, учитывая набор из независимых наблюдений максимального правдоподобия оценщик (или, что эквивалентно, карта с плоской / равномерной до) , который идентифицирует параметров \ mathbf {θ} , которые производят распределение модели P_ {модель} \ слева (\, \ cdot \,; \ mathbf {θ} \ right), который лучше всего соответствует этим …

12 maximum-likelihood  deep-learning  cross-entropy 

Для двух дискретных распределений и перекрестная энтропия определяется какpppqqq H(p,q)=−∑xp(x)logq(x).H(p,q)=−∑xp(x)log⁡q(x),H(p,q)=-\sum_x p(x)\log q(x). Интересно, почему это будет интуитивно понятная мера расстояния между двумя распределениями вероятностей? Я вижу, что - энтропия , которая измеряет «удивление» . - это мера, которая частично заменяет на . Я до сих пор не понимаю интуитивное значение …

11 probability  distributions  cross-entropy