Недоумение и кросс-энтропия для моделей с n-граммами

10

Попытка понять связь между перекрестной энтропией и недоумением. В общем случае для модели M , Недоумение (М) = 2 ^ энтропии (M) . Действуют ли эти отношения для всех разных n-грамм, то есть униграмм, биграмм и т. Д.

natural-language entropy perplexity

— Margalit
источник

Это на самом деле определение недоумения; , что является производным от него;)

\sqrt[N]{Π_{i = 1}^{N} \frac{1}{P (w_{i} | w_{1}, . . . w_{i - 1})}}

$\sqrt[N]{\Pi^N_{i=1} \frac{1}{P(w_i|w_1, ... w_{i-1})}}$

— WavesWashSands

9

Да, недоумение всегда равно двум силам энтропии. Неважно, какая у вас модель, n-грамм, униграмма или нейронная сеть.

Есть несколько причин, по которым людям, моделирующим язык, нравится недоумение, а не просто энтропия. Одна из них заключается в том, что из-за показателя степени улучшения в недоумении «чувствуются», как будто они более существенны, чем эквивалентное улучшение энтропии. Другое состоит в том, что до того, как они начали использовать недоумение, сложность языковой модели сообщалась с использованием упрощенного измерения коэффициента ветвления, которое больше похоже на недоумение, чем на энтропию.

— Аарон
источник

1

Согласился с ответом @Aaron с небольшой модификацией:

Это не всегда равно двум силам энтропии. На самом деле, это будет (база для журнала) в силу энтропии. Если бы вы использовали e в качестве своей базы, то это была бы энтропия.

— Прашант Гупта
источник