В чем разница между sparse_softmax_cross_entropy_with_logits и softmax_cross_entropy_with_logits?

Недавно я наткнулся на tf.nn.sparse_softmax_cross_entropy_with_logits, и я не могу понять, в чем разница по сравнению с tf.nn.softmax_cross_entropy_with_logits .

Является единственным отличие , что обучающие векторы yдолжны быть один горячей закодированными при использовании sparse_softmax_cross_entropy_with_logits?

Читая API, я не нашел другой разницы по сравнению с softmax_cross_entropy_with_logits. Но зачем тогда нужна дополнительная функция?

Не должен softmax_cross_entropy_with_logitsдавать такие же результаты, как sparse_softmax_cross_entropy_with_logitsесли бы он был снабжен однократно закодированными обучающими данными / векторами?

Наличие двух разных функций - это удобство , поскольку они дают одинаковый результат.

Отличие простое:

• Ведь sparse_softmax_cross_entropy_with_logitsметки должны иметь форму [batch_size] и dtype int32 или int64. Каждая метка представляет собой int в диапазоне [0, num_classes-1].
• Ведь softmax_cross_entropy_with_logitsметки должны иметь форму [batch_size, num_classes] и dtype float32 или float64.

Этикетки, используемые в, softmax_cross_entropy_with_logitsявляются одной из самых популярных версий этикеток, используемых в sparse_softmax_cross_entropy_with_logits.

Еще одно крошечное отличие заключается в том sparse_softmax_cross_entropy_with_logits, что с помощью вы можете указать -1 в качестве метки, чтобы 0на этой метке были потери .

Я просто хотел бы добавить к принятому ответу 2 вещи, которые вы также можете найти в документации TF.

Первый:

tf.nn.softmax_cross_entropy_with_logits

ПРИМЕЧАНИЕ. Хотя классы являются взаимоисключающими, их вероятности не обязательны. Все, что требуется, - это чтобы каждая строка меток представляла собой допустимое распределение вероятностей. В противном случае расчет градиента будет неверным.

Второй:

tf.nn.sparse_softmax_cross_entropy_with_logits

ПРИМЕЧАНИЕ: Для этой операции вероятность данной метки считается исключительной. То есть мягкие классы не разрешены, и вектор меток должен предоставлять единственный конкретный индекс для истинного класса для каждой строки логитов (каждой записи мини-пакета).

Обе функции вычисляют одни и те же результаты, а sparse_softmax_cross_entropy_with_logits вычисляет перекрестную энтропию непосредственно на разреженных метках вместо их преобразования с помощью однократного кодирования .

В этом можно убедиться, запустив следующую программу:

import tensorflow as tf
from random import randint

dims = 8
pos  = randint(0, dims - 1)

logits = tf.random_uniform([dims], maxval=3, dtype=tf.float32)
labels = tf.one_hot(pos, dims)

res1 = tf.nn.softmax_cross_entropy_with_logits(       logits=logits, labels=labels)
res2 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=tf.constant(pos))

with tf.Session() as sess:
    a, b = sess.run([res1, res2])
    print a, b
    print a == b

Здесь я создаю случайный logitsвектор длины dimsи генерирую метки с горячим кодированием (где элемент in posравен 1, а другие - 0).

После этого я вычисляю softmax и sparse softmax и сравниваю их результат. Попробуйте запустить его несколько раз, чтобы убедиться, что он всегда дает одинаковый результат.