Какое распределение имеет максимальную энтропию для известного среднего абсолютного отклонения?

Я читал дискуссию в Hacker News об использовании стандартного отклонения в отличие от других показателей, таких как среднее абсолютное отклонение. Итак, если бы мы следовали принципу максимальной энтропии, с каким распределением мы бы использовали, если бы знали только среднее значение распределения и среднее абсолютное отклонение?

Или имеет смысл использовать медиану и среднее абсолютное отклонение от медианы?

Я нашел документ « Принцип максимальной энтропии с мерами общего отклонения » Гречука, Молибохи и Забаранкина, в котором, похоже, есть информация, которая мне интересна, но мне требуется время, чтобы ее расшифровать.

distributions maximum-entropy mad

— Дитрих Эпп
источник

Интересный вопрос; добро пожаловать в Cross Validated!

— Ник Стаунер

Эти мудрые господа, Kotz, S., Kozubowski, TJ, & Podgorski, K. (2001). Распределение Лапласа и обобщения: пересмотр с приложениями к связи, экономике, технике и финансам (№ 183). Springer.

бросьте нам вызов с помощью упражнения:

введите описание изображения здесь

Доказательство может следовать теоретико-информационному доказательству того, что нормаль является максимальной энтропией для данного среднего значения и дисперсии. В частности: пусть будет вышеупомянутой плотностью Лапласа, и пусть будет любой другой плотностью, но с тем же средним и средним абсолютным отклонением. Это означает, что выполняется следующее равенство: $f(x)$ $g(x)$

E_{g} (| X - c_{1} |) = \int g (x) | x - c_{1} | d x = c_{2} = \int f (x) | x - c_{1} | d x = E_{f} (| X - c_{1} |) [1]

$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$ Теперь рассмотрим расхождение Кульбака-Лейблера двух плотностей:

0 \leq D_{K L} (g | | f) = \int g (x) \ln (\frac{g (x)}{f (x)}) d x = \int g (x) \ln g (x) d x - \int g (x) \ln f (x) d x [2]

$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$

Первый интеграл является отрицательным от (дифференциальной) энтропии , обозначим ее . Второй интеграл (записывающий явно лапласианский pdf) $g$ $-h(g)$

\int g (x) \ln [f (x)] d x = \int g (x) \ln [\frac{1}{2 c_{2}} \exp {- \frac{1}{c_{2}} | x - c_{1} |}] d x

$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$

= \ln [\frac{1}{2 c_{2}}] \int g (x) d x - \frac{1}{c_{2}} \int g (x) | x - c_{1} | d x

$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$ Первый интеграл интегрируется в единицу, используя также уравнение получаем

[1]

$[1]$

\int g (x) \ln [f (x)] d x = - \ln [2 c_{2}] - \frac{1}{c_{2}} \int f (x) | x - c_{1} | d x = - (\ln [2 c_{2}] + 1)

$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$ Но это отрицание дифференциальной энтропии лапласиана, обозначим его .

- h (f)

$-h(f)$

Вставка этих результатов в уравнение. имеем Так как была произвольной, это доказывает, что Плотность выше лапласиана является максимальной энтропией среди всех распределений с вышеуказанными рецептами. $[2]$

0 \leq D (g | | f) = - h (g) - (- h (f)) \Rightarrow h (g) \leq h (f)

$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$

g

$g$

— Алекос Пападопулос
источник

Такой простой дистрибутив, а также хорошая статья! Я подозревал, что распределение будет плавным, кроме 0.

— Дитрих Эпп

Спасибо. Иногда «то же самое происходит с тем же» - так как распределение Лапласа включает в себя абсолютное значение, это было главным подозрением.

— Алекос Пападопулос