Я тоже удивился этому. Первое объяснение неплохое, но вот мои 2 натса для чего бы то ни было.
Прежде всего, недоумение не имеет ничего общего с характеристикой того, как часто вы угадываете что-то правильно. Это больше связано с характеристикой сложности стохастической последовательности.
Мы смотрим на величину, 2- ∑Иксp ( x ) log2р ( х )
Давайте сначала отменим журнал и возведение в степень.
2- ∑Иксp ( x ) log2р ( х )= 1ΠИкср ( х )р ( х )
Я думаю, что стоит отметить, что недоумение инвариантно с базой, которую вы используете для определения энтропии. Таким образом, в этом смысле недоумение бесконечно более уникально / менее произвольно, чем энтропия как измерение.
Отношение к кости
11212× 1212= 2
N1( 1N1N)N= N
Таким образом, недоумение представляет количество сторон справедливого кубика, которое при броске создает последовательность с той же энтропией, что и заданное вами распределение вероятностей.
Количество штатов
NN+ 1NεNN+ 1εNИкспИксNп'Икс= рИкс( 1 - ϵ )
1εεΠNИксп'Иксп'Икс= 1εεΠNИкс( рИкс( 1 - ϵ ) )пИкс( 1 - ϵ )= 1εεΠNИксппИкс( 1 - ϵ )Икс( 1 - ϵ )пИкс( 1 - ϵ )= 1εε( 1 - ϵ )( 1 - ϵ )ΠNИксппИкс( 1 - ϵ )Икс
& epsi ; → 01ΠNИкспИкспИкс
Таким образом, когда вы заставляете делать прокатку одной стороны матрицы все более маловероятной, недоумение заканчивается тем, что эта сторона не существует.