Дифференциальная энтропия

Дифференциальная энтропия гауссовых RV равна . Это зависит от , который является стандартным отклонением. $\log_2(\sigma \sqrt{2\pi e})$ $\sigma$

Если мы нормализуем случайную переменную так, чтобы она имела единичную дисперсию, ее дифференциальная энтропия падает. Для меня это нелогично, поскольку сложность нормализующей постоянной Колмогорова должна быть очень мала по сравнению со снижением энтропии. Можно просто разработать декодер кодера, который делит / умножает на нормализующую константу, чтобы восстановить любой набор данных, сгенерированный этой случайной переменной.

Вероятно, мое понимание выключено. Не могли бы вы указать на мой недостаток?

information-theory entropy randomness

— Кагдас Озгенц
источник

Я попробую это сделать, хотя это немного над моей головой, так что побалуйте насыпью соли ...

Ты не совсем неправ. Я думаю, что если ваш мысленный эксперимент провалится, то дифференциальная энтропия не является ограничивающим случаем энтропии. Я предполагаю, что из-за этого параллели между ним и колмогоровской сложностью потеряны.

Допустим, мы имеем дискретную случайную величину . Мы можем вычислить его энтропию Шеннона следующим образом, суммируя по всем возможным значениям , $X$ $x_i$

H (X) = - \sum_{i} P (X = x_{i}) \log (P (X = x_{i})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

Пока все так скучно. Теперь предположим, что является квантованной версией непрерывной случайной величины - скажем, у нас есть функция плотности которая генерирует выборки из набора действительных чисел, и мы превращаем это в гистограмму. У нас будет достаточно тонкая гистограмма, чтобы функция плотности была по существу линейной. В этом случае у нас будет энтропия что-то вроде этого, где - ширина бинов нашей гистограммы, а - середина каждого. У нас есть продукт внутри этого логарифма - давайте выделим его и используем свойство вероятностных распределений, суммирующих 1, чтобы вывести его за пределы суммирования, давая нам $X$ $p()$

H (X) \approx - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$

H (X) \approx - \log (δ x) - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

Если мы берем предел, позволяя и превращаем суммирование в интегрирование, наше приближение становится точным, и мы получаем следующее: $\delta x \rightarrow dx$

H (X) = - \log (d x) - \int_{x} p (X = x) \log (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

Термин с правой стороны является дифференциальной энтропией. Но посмотрите на этот ужасный термин . Мы должны игнорировать это, чтобы все наши ответы не были NaN. Боюсь, это означает, что дифференциальная энтропия не является ограничивающим случаем энтропии Шеннона. $\log \big( dx \big)$

Итак, мы теряем некоторые свойства. Да, изменение масштаба ваших данных изменяет дифференциальную энтропию - дифференциальная энтропия является своего рода мерой того, насколько «тесно упакован» PDF-файл. Если вы измените масштаб, это изменится. Еще одно интересное свойство в том, что оно может стать отрицательным, в отличие от энтропии Шеннона - попробуйте установить действительно очень маленьким и посмотреть, что произойдет. Потеря связи со сложностью Колмогорова, я думаю, просто очередная жертва. $\sigma$

К счастью, мы не совсем потеряны. Расхождения Кульбака – Лейблера и, как следствие, взаимная информация, ведут себя довольно хорошо, так как все delta'ы исключают. Например, вы можете вычислить где - некоторое эталонное распределение - скажем, единый. Это всегда положительно, и когда вы масштабируете переменную она меняет и и , поэтому результаты намного менее серьезны. $\delta$

\int_{x} p (X = x) \log (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— похлопывание
источник

Благодарю. Это очень интересно. Я не знал, что в теории был такой трюк.

— Кагдас Озгенц

Обозначение самом деле не очень значимо, но мы можем превратить некоторые из ваших рассказов во что-то более точное. Действительно, если плотность интегрируема по Риману, то при . Интерпретация этого, которую вы часто будете видеть, состоит в том, что битное квантование непрерывной случайной величины имеет энтропию около .

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

— кардинал

@Cardinal. Да, я знал, что было ужасно странной вещью, о которой я говорил, когда писал ее. Тем не менее, я думаю, что подобный подход действительно помогает понять, почему дифференциальная энтропия действительно не является энтропией.

\log (d x)

$\log(d x)$

— Пэт

@Cagdas - я не знаю, если бы я назвал это трюком. Это просто измерение другого. И, как указывает кардинал, он имеет некоторое применение. Что касается того, сломается ли он при применении к биноминальному распределению, ну, зависит от того, как вы собираетесь его применять :). Вероятно, стоит начать новую тему, если вы не уверены.

— Пэт

Я думал, что энтропия, очевидно, отличается от колмогоровской сложности, если рассматривать генераторы псевдослучайных чисел.

— Джеймс Бауэри