Как интерпретировать дифференциальную энтропию?

Недавно я прочитал эту статью об энтропии дискретного распределения вероятностей. Он описывает хороший способ восприятия энтропии как ожидаемых числовых битов (по крайней мере, при использовании в определении энтропии), необходимых для кодирования сообщения, когда ваша кодировка оптимальна, учитывая распределение вероятностей используемых вами слов. $\log_2$

Однако при распространении на непрерывный случай, как здесь, я считаю, что этот способ мышления нарушается, поскольку для любого непрерывного распределения вероятности (пожалуйста, исправьте меня, если это не так), поэтому я был интересно, есть ли хороший способ думать о том, что означает непрерывная энтропия, как в случае с дискретным случаем. $\sum_x p(x) = \infty$ $p(x)$

entropy information-theory

— dippynark
источник

Вы пытались читать статьи Википедии об энтропии и дифференциальной энтропии?

— ttnphns

Непрерывное распределение не имеет функции вероятности массы. Аналогом в непрерывном случае является интеграл от плотности вероятности, а интеграл по всему диапазону x равен 1.

— Майкл Р. Черник

@MichaelChernick Я не говорил, что он был, но способ размышления о дискретном случае основан на том факте, что сумма равна 1.

— dippynark

@ttnphns нет, нет, но сейчас я проверю их, спасибо.

— dippynark

См. Также stats.stackexchange.com/questions/66186/… для интерпретации энтропии Шеннона. Некоторые идеи могут быть переданы.

— kjetil b halvorsen

Не существует интерпретации дифференциальной энтропии, которая была бы столь же значимой или полезной, как и энтропия. Проблема с непрерывными случайными переменными состоит в том, что их значения обычно имеют 0 вероятностей, и, следовательно, для кодирования потребуется бесконечное количество битов.

Если вы посмотрите на предел дискретной энтропии, измерив вероятность интервалов $[n\varepsilon, (n + 1)\varepsilon[$ , вы получите

- \int p (x) \log_{2} p (x) d x - \log_{2} ε

$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$

а не дифференциальная энтропия. Эта величина в некотором смысле более значима, но будет расходиться до бесконечности, поскольку мы будем брать все меньшие и меньшие интервалы. Это имеет смысл, поскольку нам потребуется все больше и больше битов для кодирования, в какой из множества интервалов падает значение нашего случайного значения.

Более полезная величина для рассмотрения непрерывных распределений - это относительная энтропия (также дивергенция Кульбака-Лейблера). Для дискретных распределений:

D_{KL} [P | | Q] = \sum_{x} P (x) \log_{2} \frac{P (x)}{Q (x)} .

$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$

$P$ $-\log Q_2(x)$ $x$

D_{KL} [p ∣∣ q] = \int p (x) \log_{2} \frac{p (x)}{q (x)} d x,

$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$

так как $\log_2 \varepsilon$

$p(x)$ $\lambda(x) = 1$

- \int p (x) \log_{2} p (x) d x = - D_{KL} [p ∣∣ λ] .

$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$

$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$ $n$ $-\log \varepsilon$ $\lambda$

Смотрите выступление Серхио Верду, чтобы познакомиться с относительной энтропией.

— Лукас
источник