Кто придумал термин «эмпирическая энтропия»?

Я знаю работу Шеннона с энтропией, но в последнее время я работал над краткими структурами данных, в которых эмпирическая энтропия часто используется как часть анализа хранилища.

Шеннон определил энтропию информации, создаваемой отдельным источником информации, как , где - вероятность события , например, сгенерированного конкретного символа, и есть возможных событий. $-\sum_{i=1}^k p_i \log{p_i}$ $p_i$ $i$ $k$

Как указывает MCH в комментариях, эмпирическая энтропия является энтропией эмпирического распределения этих событий и поэтому определяется как где - количество наблюдаемых случаев события а - общее количество наблюдаемых событий. Это называется эмпирической энтропией нулевого порядка . Понятие Шеннона об условной энтропии имеет аналогичную эмпирическую версию более высокого порядка . $-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ $n_{i}$ $i$ $n$

Шеннон не использовал термин «эмпирическая энтропия», хотя он, безусловно, заслуживает похвалы за эту концепцию. Кто первым использовал эту идею, а кто первым использовал (очень логичное) название эмпирической энтропии для ее описания?

reference-request shannon-entropy succinct

— удаленный пользователь 42
источник

«точечно определенное для каждой строки» звучит как колмогоровская сложность: это то, что вы имеете в виду? Если нет, то можете ли вы указать на ссылку, которая его определяет, или еще лучше дать определение в самом вопросе?

— Суреш Венкат

Это называется так, потому что эмпирическая энтропия является энтропией эмпирического распределения последовательности.

— Махди Черагчи

@SureshVenkat Я пытался уточнить вопрос.

— удаленный пользователь 42

Взгляните на Косараю С. Рао, Манзини Г., «Сжатие низкоэнтропийных струн с помощью алгоритмов Лемпеля-Зива» (1998). Они анализируют производительность алгоритмов Лемпеля-Зива с помощью « так называемой эмпирической энтропии ».

— Марцио Де Биаси

Обратите внимание, что «эмпирическое распределение» - это действительно распределение ML для данного набора частотных отсчетов. Поэтому мне интересно, относится ли это к Байесу. Даже Лаплас задумался над проблемой определения распределения по эмпирическим подсчетам.

— Суреш Венкат

Я заинтересован в «эмпирической энтропии», как вы, и самая ранняя статья, которую я нашел, была из Косараджу, как пользователь «Марцио Де Биаси», сказал в своем комментарии.

Но, по моему мнению, реальные определения «эмпирической энтропии» будут сделаны позже путем обобщения первых понятий:

«Большие алфавиты и несжимаемость» Трэвиса Гэги (2008)
«Эмпирическая энтропия» Пауля М.Б. Витани (2011)

Gagie перефразировать определение $k$ 3-й порядок эмпирической энтропии для:

$H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

где - марковский процесс го порядка. Он также показал, что это определение эквивалентно предыдущему. Следующим шагом Витани было обобщение на произвольные классы процессов (не только марковских): $Q$ $k$

$H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

где - класс разрешенных процессов, а - колмогоровская сложность. Если мы выберем классом марковских процессов го порядка, создающих последовательностьслучайные величины и игнорирование колмогоровской сложности, чем это также приводит к определению Гэги (умноженному на ). $\mathcal{X}$ $K(X)$
$\mathcal{X}$ $k$ $|w|$ $|w|$

— Дэнни
источник