Есть ли польза для величины

Есть ли какое-либо применение для количества в статистике или теории информации?

\int е (Икс)^{2} d Икс

$\int f(x)^2 dx$

probability entropy information-theory

— charles.y.zheng
источник

Реньи энтропия

— кардинал

f

$f$ это PDF, верно?

— whuber

Да, это плотность.

f

$f$

— charles.y.zheng

@cardinal Ответ!

@mbq: Хорошо, я постараюсь чуть позже напечатать что-нибудь, что заслуживает ответа. :)

— кардинал

Полагая обозначает функцию плотности вероятности (либо по отношению к Лебегу или счетной мере, соответственно), количество известен как энтропия Реньи порядка . Это обобщение энтропии Шеннона, которая сохраняет многие из тех же свойств. Для случая мы интерпретируем как , и это соответствует стандартной энтропии Шеннона . $f$ $\newcommand{\rd}{\mathrm{d}}$

{ЧАС}_{α} (е) знак равно - \frac{1}{α - 1} журнал (\int е^{α} d μ)

$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$

α \geq 0

$\alpha \geq 0$

α = 1

$\alpha = 1$

H_{1} (f)

$H_1(f)$

lim_{α \to 1} H_{α} (f)

$\lim_{\alpha \to 1} H_{\alpha}(f)$

H (f)

$H(f)$

Рени представил это в своей статье

А. Рени, О мерах информации и энтропии , Учеб. 4-й Беркли Симп. по математике, стат. и проб. (1960), с. 547–561.

что стоит прочитать не только за идеи, но и за образцовый стиль экспозиции.

Случай является одним из наиболее распространенных вариантов для и этот частный случай (также) часто называют энтропией Реньи. Здесь мы видим, что для случайная величина, распределенная с плотностью . $\alpha = 2$ $\alpha$

{ЧАС}_{2} (е) знак равно - журнал (\int е^{2} d μ) знак равно - журнал (Е е (Икс))

$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$

f

$f$

Обратите внимание, что - выпуклая функция, и поэтому по неравенству Дженсена где правая часть обозначает энтропию Шеннона. Следовательно, энтропия Реньи дает нижнюю границу для энтропии Шеннона и во многих случаях ее легче вычислить. $- \log(x)$

{ЧАС}_{2} (е) знак равно - журнал (Е е (Икс)) \leq Е (- журнал е (Икс)) знак равно - Е журнал е (Икс) знак равно ЧАС (е)

$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$

Другой естественный случай, когда возникает энтропия Реньи, - это рассмотрение дискретной случайной величины и независимой копии . В некоторых сценариях мы хотим знать вероятность того, что , что по элементарному вычислению равно $X$ $X^\star$ $X = X^\star$

п (Икс знак равно {Икс}^{⋆}) знак равно Σ_{я знак равно 1}^{\infty} п (Икс знак равно {Икс}_{я}, {Икс}^{⋆} знак равно {Икс}_{я}) знак равно Σ_{я знак равно 1}^{\infty} п (Икс знак равно {Икс}_{я}) п ({Икс}^{⋆} знак равно {Икс}_{я}) знак равно е^{- {ЧАС}_{2} (е)},

$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$

Здесь обозначает плотность по отношению к счетной мере на множестве значений . $f$ $\Omega = \{x_i: i \in \mathbb{N}\}$

(Общая) энтропия Реньи, по-видимому, также связана со свободной энергией системы в тепловом равновесии, хотя я лично не в курсе этого. (Очень) недавняя статья на эту тему

JC Baez, Энтропия Реньи и свободная энергия , arXiv [Quant-Ph] 1101.2098 (февраль 2011).

— кардинальный
источник

Я действительно использовал энтропию Реньи вместо энтропии Шеннона; приятно видеть подтверждение моей интуиции. Спасибо за поучительный ответ.

— charles.y.zheng

Многие (но не все!) Свойства и полезность энтропии Шеннона обусловлены ее выпуклостью. Если вы посмотрите на создание базовых результатов в теории информации, они более или менее зависят от неравенства Дженсена. Таким образом, в определенном (расплывчатом) смысле не слишком много (ужасно) особенного в отношении как особой нелинейности, которая приводит к понятию «информация».

- \log x

$-\log x$

— кардинал

Понимаю. В частности, мне нужно свойство, чтобы максимальное энтропийное совместное распределение, которое удовлетворяло данным маргиналам, было произведением маргиналов (что вы получили бы от независимости.)

— charles.y.zheng