Вопросы с тегом «shannon-entropy»

4
Является ли eta-эквивалентность для функций совместимой с операцией seke в Haskell?
Лемма: Предполагая, что эта эквивалентность у нас есть (\x -> ⊥) = ⊥ :: A -> B. Доказательство: ⊥ = (\x -> ⊥ x)по eta-эквивалентности и (\x -> ⊥ x) = (\x -> ⊥)по сокращению под лямбду. В отчете Haskell 2010, раздел 6.2, seqфункция определяется двумя уравнениями: seq :: a …
3
Об энтропии суммы
Ищу ограничение на энтропии суммы двух независимых дискретных случайных величин и . Естественно, Однако применительно к сумме независимых бернуллиевских случайных величин это дает Другими словами, граница увеличивается линейно с при многократном применении. Однако поддерживается для набора размера , поэтому его энтропия не больше . На самом деле, по центральной предельной …
2
Результаты канального кодирования с использованием колмогоровской сложности
Обычно энтропия Шеннона используется для доказательства результатов канального кодирования. Даже для результатов разделения канала источника используется энтропия Шеннона. Учитывая эквивалентность между Шенноном (глобальным) и колмогоровским (локальным) понятиями информации, проводилось ли исследование по использованию колмогоровской сложности для этих результатов (или, по крайней мере, для замены части исходного кода в результатах разделения …
1
Кто придумал термин «эмпирическая энтропия»?
Я знаю работу Шеннона с энтропией, но в последнее время я работал над краткими структурами данных, в которых эмпирическая энтропия часто используется как часть анализа хранилища. Шеннон определил энтропию информации, создаваемой отдельным источником информации, как , где - вероятность события , например, сгенерированного конкретного символа, и есть возможных событий.−∑ki=1pilogpi−∑i=1kpilog⁡pя-\sum_{i=1}^k p_i …
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.