Если данные имеют вид , то есть -последовательность из выборочного пространства X , вероятности эмпирических точек составляют:
для . Здесь - единица, если и ноль в противном случае. Таким образом, - это относительная частота в наблюдаемой последовательности. Энтропии распределения вероятностей задается эмпирической точки вероятностей
п р ( х ) = 1ИксN= х1… ХNNИксх∈Хδх(хя)хя=х р (х)хН (
п^( х ) = 1N| {я∣ хя= х } | = 1NΣя = 1NδИкс( хя)
x ∈ XδИкс( хя)Икся= хп^( х )ИксΣх∈ Х δх(хя)лог р (х)=лог р (хя). Н( р )=-1ЧАС( р^) = - ∑x ∈ Xп^( х ) журналп^( х ) = - ∑x ∈ X1NΣя = 1NδИкс( хя) журналп^( х ) = - 1NΣя = 1Nжурналп^( хя) .
Последняя идентичность следует, поменяв две суммы и отметив, что
Отсюда видно, что
с и используя терминологию из вопроса, это эмпирическая энтропия
эмпирического распределения вероятностей . Как отметил @cardinal в комментарии,
Σx ∈ XδИкс( хя) журналп^( х ) = журналп^( хя) .
ЧАС( р^) = - 1Nжурналп^( хN)
п^( хN) = ∏Nя = 1п^( хя)- 1Nжурналр ( хN)является эмпирической энтропией данного распределения вероятностей с точечными вероятностями .
п