Вопросы с тегом «cross-entropy»

В следующей функции TensorFlow мы должны обеспечить активацию искусственных нейронов в последнем слое. Это я понимаю. Но я не понимаю, почему это называется логитс? Разве это не математическая функция? loss_function = tf.nn.softmax_cross_entropy_with_logits( logits = last_layer, labels = target_output )

250 tensorflow  machine-learning  neural-network  deep-learning  cross-entropy 

Недавно я наткнулся на tf.nn.sparse_softmax_cross_entropy_with_logits, и я не могу понять, в чем разница по сравнению с tf.nn.softmax_cross_entropy_with_logits . Является единственным отличие , что обучающие векторы yдолжны быть один горячей закодированными при использовании sparse_softmax_cross_entropy_with_logits? Читая API, я не нашел другой разницы по сравнению с softmax_cross_entropy_with_logits. Но зачем тогда нужна дополнительная функция? …

111 neural-network  tensorflow  softmax  cross-entropy 

Я знаю, что есть много объяснений того, что такое кросс-энтропия, но я все еще в замешательстве. Это всего лишь метод описания функции потерь? Можем ли мы использовать алгоритм градиентного спуска, чтобы найти минимум с помощью функции потерь?

95 machine-learning  cross-entropy 

Проблемы классификации, такие как логистическая регрессия или полиномиальная логистическая регрессия, оптимизируют кросс-энтропийную потерю. Обычно слой кросс-энтропии следует за слоем softmax , который производит распределение вероятностей. В тензорном потоке есть как минимум дюжина различных функций кросс-энтропийных потерь : tf.losses.softmax_cross_entropy tf.losses.sparse_softmax_cross_entropy tf.losses.sigmoid_cross_entropy tf.contrib.losses.softmax_cross_entropy tf.contrib.losses.sigmoid_cross_entropy tf.nn.softmax_cross_entropy_with_logits tf.nn.sigmoid_cross_entropy_with_logits ... Какой из них работает только …

84 python  tensorflow  neural-network  logistic-regression  cross-entropy