Всегда ли дифференциальная энтропия меньше бесконечности?

Для произвольной непрерывной случайной величины, скажем, $X$ , всегда ли ее дифференциальная энтропия меньше $\infty$ ? (Это нормально, если это $-\infty$ .) Если нет, каково необходимое и достаточное условие, чтобы оно было меньше, чем ? $\infty$

entropy information-theory maximum-entropy

— syeh_106
источник

Вы пробовали какие-нибудь примеры? Мол, равномерное распределение на отрезке длины ?

L

$L$

— Петр Мигдаль,

Действительно, дифференциальная энтропия равномерного распределения (на любом конечном интервале) всегда конечна, т. Е. Log (L), следовательно, ограничена. Фактически, я мог бы идентифицировать 2 класса непрерывных распределений, энтропия которых всегда ограничена - (1) любое распределение, носитель которого содержится в конечном интервале, и (2) любое распределение, чей 2-й момент конечен. Первый ограничен равномерным распределением; в то время как последний ограничен распределением Гаусса.

— syeh_106

Фактически, я также могу построить распределение с бесконечным 2-м моментом и все еще иметь конечную энтропию. Например, рассмотрим f (x) = 3 / (x ^ 2), x> 3. Ясно, что E [X ^ 2] бесконечно, но h (X) ~ = -3,1 нац. Однако я не смог подтвердить, верно ли это для произвольных непрерывных случайных величин, или придумать контрпример, чтобы опровергнуть это. Я действительно оценил бы это, если бы кто-то мог показать это.

— syeh_106

Спасибо за ваши комментарии и ссылки, Петр. Между прочим, я также проверил один из моих материалов курса и нашел точно такой же пример дискретной случайной величины со счетно бесконечной поддержкой. По этой причине нетрудно построить непрерывный аналог. Так что ответ на первый вопрос очевиден. Я обобщу это ниже для других людей, у которых может быть тот же самый вопрос. Кстати, мне нужно внести поправку в мой второй комментарий выше, в частности, для f (x) = 3 / (x ^ 2), h (X) должен быть положительным, то есть 3.1 натс.

— syeh_106

Этот вопрос и ответ неоднозначны, поскольку в них не указано, какие наборы границ должны применяться. Если

- RV, то у него есть энтропия, период. Если это «произвольный» непрерывный RV, то (очевидно) верхняя граница невозможна. Какие ограничения вы намереваетесь наложить на

? Судя по комментариям и вашему ответу, вы можете исправить поддержку

или нет? Возможно, вы хотите ограничить

этими переменными с заданными границами в определенные моменты? Возможно, вы хотите, чтобы

был в параметрической семье, а может и нет? Пожалуйста, отредактируйте этот вопрос, чтобы уточнить.

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

— whuber

Я подумал над этим вопросом еще немного и сумел найти контрпример, благодаря также комментариям Петра выше. Ответ на первый вопрос - нет - дифференциальная энтропия непрерывной случайной величины (RV) не всегда меньше . Например, рассмотрим непрерывный RV X, pdf которого $\infty$ для.

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

Нетрудно проверить, что его дифференциальная энтропия бесконечна. Хотя растет довольно медленно (прибл. Логарифмически).

По второму вопросу я не знаю простого необходимого и достаточного условия. Однако один частичный ответ заключается в следующем. Разделить непрерывный RV на один из следующих 3 типов на основе его поддержки, т.е.

Тип 1: непрерывный RV, носитель которого ограничен, т.е. содержится в [a, b].
Тип 2: непрерывный RV, носитель которого полуограничен, т. Е. Содержится в [a, ) или ( , a] Тип 3: непрерывный RV, носитель которого неограничен. $\infty$ $-\infty$

Тогда у нас есть следующее -

Для RV типа 1 его энтропия всегда меньше , безусловно. Для RV типа 2 его энтропия меньше , если его среднее значение ( $\infty$
$\infty$ $\mu$ ) конечно.
Для RV типа 3 его энтропия меньше , если его дисперсия ( ) конечна. $\infty$ $\sigma^2$

Дифференциальная энтропия RV типа 1 меньше, чем у соответствующего равномерного распределения, т. , RV типа 2, у экспоненциального распределения, т.е. $log(b-a)$ и тип 3 RV с распределением Гаусса, т.е. $1+log(|\mu-a|)$ . $\frac{1}{2} log(2{\pi}e\sigma^2)$

Обратите внимание, что для RV типа 2 или 3 вышеуказанное условие является лишь достаточным условием . Например, рассмотрим тип 2 RV с для. Ясно, что его среднее бесконечно, но его энтропия равна 3,1 нац. Или рассмотрим тип 3 RV с

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

для

. Его дисперсия бесконечна, но энтропия составляет 2,6 натс. Так что было бы здорово, если бы кто-то смог дать полный или более элегантный ответ на эту часть.

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
источник

Большой! По SE комментарии не считаются постоянными (если они актуальны) и должны быть включены в ответ. То же самое относится и к ссылкам на материалы (чтобы либо доказать / показать что-либо, либо дать ссылку на него, а не просто сказать). BTW: для моментов, когда я вижу конечный момент

(для любого

) приводит к ограниченной энтропии (я просто понял , что это, посмотрев объявление доказательства для дисперсии).

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

— Петр Мигдаль

Спасибо, Петр, за советы о политике SE. (Да, я, очевидно, новичок здесь.) О конечных моментах, ведущих к ограниченной энтропии, вы бы поделились своим доказательством? Благодарность!

— syeh_106

@PiotrMigdal Я планирую оставить ответ на этот вопрос в его текущем состоянии после добавления последнего штриха. По мотивам вышеприведенного комментария Петра я подумал, приводит ли конечное среднее к конечной энтропии. Я не мог заключить это в целом. То, что я действительно нашел, - то, что это было верно, если поддержка RV является полуограниченной. Пожалуйста, смотрите исправленный ответ выше. Я с нетерпением жду лучшего ответа от кого-нибудь когда-нибудь.

— syeh_106

«Нетрудно убедиться, что ее дифференциальная энтропия бесконечна». Можете показать, как это проверить? Это кажется верным для интеграла Римана, но дифференциальная энтропия относится к мере Лебега. У меня проблемы с проверкой того, что соответствующий интеграл Лебега не сходится.

— канторхед

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$