Эти мудрые господа,
Kotz, S., Kozubowski, TJ, & Podgorski, K. (2001). Распределение Лапласа и обобщения: пересмотр с приложениями к связи, экономике, технике и финансам (№ 183). Springer.
бросьте нам вызов с помощью упражнения:
Доказательство может следовать теоретико-информационному доказательству того, что нормаль является максимальной энтропией для данного среднего значения и дисперсии. В частности: пусть будет вышеупомянутой плотностью Лапласа, и пусть будет любой другой плотностью, но с тем же средним и средним абсолютным отклонением. Это означает, что выполняется следующее равенство:f(x)g(x)
Eg(|X−c1|)=∫g(x)|x−c1|dx=c2=∫f(x)|x−c1|dx=Ef(|X−c1|)[1]
Теперь рассмотрим
расхождение Кульбака-Лейблера двух плотностей:
0≤DKL(g||f)=∫g(x)ln(g(x)f(x))dx=∫g(x)lng(x)dx−∫g(x)lnf(x)dx[2]
Первый интеграл является отрицательным от (дифференциальной) энтропии , обозначим ее . Второй интеграл (записывающий явно лапласианский pdf)g−h(g)
∫g(x)ln[f(x)]dx=∫g(x)ln[12c2exp{−1c2|x−c1|}]dx
=ln[12c2]∫g(x)dx−1c2∫g(x)|x−c1|dx
Первый интеграл интегрируется в единицу, используя также уравнение получаем
[1]
∫g(x)ln[f(x)]dx=−ln[2c2]−1c2∫f(x)|x−c1|dx=−(ln[2c2]+1)
Но это отрицание дифференциальной энтропии лапласиана, обозначим его .
−h(f)
Вставка этих результатов в уравнение. имеем
Так как была произвольной, это доказывает, что Плотность выше лапласиана является максимальной энтропией среди всех распределений с вышеуказанными рецептами.[2]
0≤D(g||f)=−h(g)−(−h(f))⇒h(g)≤h(f)
g