Что такое эмпирическая энтропия?

В определении совместно типичных множеств (в «Элементах теории информации», гл. 7.6, с. 195) мы используем

- \frac{1}{N} журнал п ({Икс}^{N})

$-\frac{1}{n} \log{p(x^n)}$ в качестве эмпирической энтропии в качестве -sequence с . Я никогда не сталкивался с этой терминологией раньше. Это нигде не определено явно согласно индексу книги.

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

Мой вопрос в основном таков: почему эмпирическая энтропия отсутствует где - эмпирическое распределение? $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$

Каковы наиболее интересные различия и сходства между этими двумя формулами? (с точки зрения свойств они разделяют / не разделяют).

information-theory entropy

— blubb
источник

Разве два выражения не алгебраически равны?

— whuber

@whuber: Нет, я думаю, что это разные количества с разными целями. Обратите внимание, что первая использует истинную меру предполагаемую известным априори. Второго нет.

p

$p$

— кардинал

Первый касается накопления энтропии с течением времени и ее сравнения с истинной энтропией системы. SLLN и CLT много рассказывают о том, как они себя ведут. Второе касается оценки энтропии по данным, и некоторые из ее свойств также могут быть получены с помощью тех же двух инструментов, которые только что упомянуты. Но, в то время как первое объективно, второе не под любым . Я могу заполнить некоторые детали, если это будет полезно.

p

$p$

— кардинал

@cardinal: Если бы вы предоставили приведенный выше комментарий в качестве ответа (возможно, также объясните, что такое SLLN и CLT? - Я не знаю их), я бы с удовольствием поднял голосование ...

— blubb

Хорошо, я постараюсь опубликовать больше позже. Тем временем, SLLN = "Сильный закон больших чисел" и CLT = "Центральная предельная теорема". Это довольно стандартные сокращения, с которыми вы, вероятно, столкнетесь снова. Приветствия. :)

— кардинал

Ответы:

Если данные имеют вид , то есть -последовательность из выборочного пространства , вероятности эмпирических точек составляют: для . Здесь - единица, если и ноль в противном случае. Таким образом, - это относительная частота в наблюдаемой последовательности. Энтропии распределения вероятностей задается эмпирической точки вероятностей $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$

\hat{п} (Икс) знак равно \frac{1}{N} | {я | {Икс}_{я} знак равно Икс} | знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} δ_{Икс} ({Икс}_{я})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

ЧАС (\hat{п}) знак равно - \underset{Икс \in Икс}{Σ} \hat{п} (Икс) журнал \hat{п} (Икс) знак равно - \underset{Икс \in Икс}{Σ} \frac{1}{N} Σ_{я знак равно 1}^{N} δ_{Икс} ({Икс}_{я}) журнал \hat{п} (Икс) знак равно - \frac{1}{N} Σ_{я знак равно 1}^{N} журнал \hat{п} ({Икс}_{я}),

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$ Последняя идентичность следует, поменяв две суммы и отметив, что Отсюда видно, что с и используя терминологию из вопроса, это эмпирическая энтропия эмпирического распределения вероятностей . Как отметил @cardinal в комментарии,

\underset{Икс \in Икс}{Σ} δ_{Икс} ({Икс}_{я}) журнал \hat{п} (Икс) знак равно журнал \hat{п} ({Икс}_{я}),

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

ЧАС (\hat{п}) знак равно - \frac{1}{N} журнал \hat{п} ({Икс}^{N})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$ является эмпирической энтропией данного распределения вероятностей с точечными вероятностями .

p

$p$

— NRH
источник

(+1) Это дает хорошую иллюстрацию того, что Ковер и Томас называют «странным самоссылочным персонажем» энтропии. Тем не менее, я не уверен, что ответ на самом деле решает (напрямую) очевидные проблемы ОП. :)

— кардинал

@ Cardinal, я знаю, и ответ был просто длинным комментарием, чтобы подчеркнуть эту особенность. Я не хотел повторять ваши пункты.

— NRH

Вы не должны чувствовать себя плохо или не стесняйтесь оставлять свой собственный ответ, включая расширение моих комментариев или комментариев других. Я особенно медленно и плохо пишу ответы и никогда не буду обижаться, если вы или другие публикуете ответы, которые включают аспекты вещей, которые я, возможно, ранее кратко прокомментировал. Наоборот, на самом деле. Приветствия.

— кардинал

Энтропия определяется для вероятностных распределений. Когда у вас нет данных, а есть только данные, и вы подключаете наивный оценщик распределения вероятностей, вы получаете эмпирическую энтропию. Это проще всего для дискретных (полиномиальных) распределений, как показано в другом ответе, но также может быть сделано для других распределений с помощью биннинга и т. Д.

Проблема с эмпирической энтропией состоит в том, что она смещена для небольших выборок. Наивная оценка распределения вероятностей показывает дополнительное изменение из-за шума выборки. Конечно, можно использовать лучшую оценку, например, подходящий априорный показатель для полиномиальных параметров, но получить его по-настоящему беспристрастно непросто.

Вышесказанное относится и к условным распределениям. Кроме того, все относительно биннинга (или ядра), так что у вас действительно есть своего рода дифференциальная энтропия.

— scellus
источник

Мы должны быть осторожны с тем, что мы называем здесь эмпирической энтропией . Обратите внимание, что оценщик подключаемого модуля всегда имеет низкое смещение для всех размеров выборки, хотя смещение будет уменьшаться по мере увеличения размера выборки. Получить объективную оценку энтропии не только сложно , но и невозможно в общем случае. В последние несколько лет в этой области проводились довольно интенсивные исследования, особенно в литературе по нейронауке. На самом деле существует множество отрицательных результатов.

— кардинал