Дивергенция Кульбака – Лейблера между двумя гамма-распределениями

15

Выбор параметризации гамма-распределения с помощью pdf Дивергенция Кульбака-Лейблера между и определяется как [1] как $\Gamma(b,c)$ $g(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}$ $\Gamma(b_q,c_q)$ $\Gamma(b_p,c_p)$

\begin{aligned} K L_{G a} (b_{q}, c_{q}; b_{p}, c_{p}) & = (c_{q} - 1) Ψ (c_{q}) - \log b_{q} - c_{q} - \log Γ (c_{q}) + \log Γ (c_{p}) \\ + c_{p} \log b_{p} - (c_{p} - 1) (Ψ (c_{q}) + \log b_{q}) + \frac{b_{q} c_{q}}{b_{p}} \end{aligned}

$\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align}$

Я предполагаю, что - это функция дигаммы . $\Psi(x):= \Gamma'(x)/\Gamma(x)$

Это дается без вывода. Я не могу найти никаких ссылок, которые выводят это. Любая помощь? Хорошей ссылки будет достаточно. Сложной частью является интеграция с гамма-pdf. $\log x$

[1] WD Penny, KL-Расхождения нормальной плотности , гамма, дирихле и Вишарта, доступно по адресу: www.fil.ion.ucl.ac.uk/~wpenny/publications/densities.ps

kullback-leibler gamma-distribution exponential-family

— Ян Лэнгмор
источник

2

Взятие производной от pdf по вводит коэффициент вы ищете: вот почему появляется дигамма.

c

$c$

l o g (x)

$log(x)$

— whuber

Если вы встретитесь с Пьером Бальди и Лораном Итти (2010). «Бит и вау: байесовская теория удивления с приложениями к вниманию». Нейронные сети 23: 649-666, вы обнаружите, что уравнение 73 дает KL-расхождение между двумя гамма-PDF-файлами. Будьте осторожны, хотя, похоже, что формула напечатана неправильно.

— Мистер Кларнет

Ищу для решения той же проблемы и найти это один полезно.

— И Ян

15

Дивергенция КЛ - это разность интегралов вида

$$ \ eqalign {I (a, b, c, d) & = \ int_0 ^ {\ infty} \ log \ left (\ frac {e ^ {- x / a} x ^ {b-1}}} a ^ b \ Gamma (b)} \ right) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} dx \

& = - \ frac {1} {a} \ int_0 ^ \ infty \ frac {x ^ de ^ {- x / c}} {c ^ d \ Gamma (d)} \, dx - \ log (a ^ b \ Gamma (b)) \ int_0 ^ \ infty \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \ & \ quad + (b- 1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \

& = - \ frac {cd} {a} - \ log (a ^ b \ Gamma (b)) + (b-1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c } x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx} $$

Нам просто нужно иметь дело с правым интегралом, который получается путем наблюдения

\begin{aligned} \frac{\partial}{\partial d} Γ (d) = & \frac{\partial}{\partial d} \int_{0}^{\infty} e^{- x / c} \frac{x^{d - 1}}{c^{d}} d x \\ = & \frac{\partial}{\partial d} \int_{0}^{\infty} e^{- x / c} \frac{(x / c)^{d - 1}}{c} d x \\ = & \int_{0}^{\infty} e^{- x / c} \frac{x^{d - 1}}{c^{d}} \log \frac{x}{c} d x \\ = & \int_{0}^{\infty} \log (x) e^{- x / c} \frac{x^{d - 1}}{c^{d}} d x - \log (c) Γ (d) . \end{aligned}

$\eqalign{ \frac{\partial}{\partial d}\Gamma(d) =& \frac{\partial}{\partial d}\int_0^{\infty}e^{-x/c}\frac{x^{d-1}}{c^d}dx\\ =& \frac{\partial}{\partial d} \int_0^\infty e^{-x/c} \frac{(x/c)^{d-1}}{c}\,dx\\ =&\int_0^\infty e^{-x/c}\frac{x^{d-1}}{c^d} \log\frac{x}{c} \,dx\\ =&\int_0^{\infty}\log(x)e^{-x/c}\frac{x^{d-1}}{c^d}dx - \log(c)\Gamma(d). }$

Откуда

\frac{b - 1}{Γ (d)} \int_{0}^{\infty} \log (x) e^{- x / c} (x / c)^{d - 1} d x = (b - 1) \frac{Γ^{'} (d)}{Γ (d)} + (b - 1) \log (c) .

$\frac{b-1}{\Gamma(d)}\int_0^{\infty} \log(x)e^{-x/c}(x/c)^{d-1}dx = (b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$

Подключение к предыдущим доходам

I (a, b, c, d) = \frac{- c d}{a} - \log (a^{b} Γ (b)) + (b - 1) \frac{Γ^{'} (d)}{Γ (d)} + (b - 1) \log (c) .

$I(a,b,c,d)=\frac{-cd}{a} -\log(a^b\Gamma(b))+(b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$

Расхождение KL между и равно , что просто собрать. $\Gamma(c,d)$ $\Gamma(a,b)$ $I(c,d,c,d) - I(a,b,c,d)$

Детали реализации

Гамма-функции быстро растут, поэтому, чтобы избежать переполнения, не вычисляйте Гамму и не используйте ее логарифм: вместо этого используйте функцию log-Гамма, которая будет найдена в любой платформе статистических вычислений (в том числе в Excel).

Отношение является логарифмическая производная как правило , называют дигамма функция. Если он вам недоступен, есть сравнительно простые способы приблизить его, как описано в статье в Википедии . $\Gamma^\prime(d)/\Gamma(d)$ $\Gamma,$ $\psi,$

Здесь, чтобы проиллюстрировать, является прямой Rреализацией формулы в терминах . Это не дает возможности упростить результат алгебраически, что сделало бы его немного более эффективным (исключив избыточное вычисление ). $I$ $\psi$

#
# `b` and `d` are Gamma shape parameters and
# `a` and `c` are scale parameters.
# (All, therefore, must be positive.)
#
KL.gamma <- function(a,b,c,d) {
  i <- function(a,b,c,d)
    - c * d / a - b * log(a) - lgamma(b) + (b-1)*(psigamma(d) + log(c))
  i(c,d,c,d) - i(a,b,c,d)
}
print(KL.gamma(1/114186.3, 202, 1/119237.3, 195), digits=12)

— Whuber
источник

2

Хороший ответ. Благодарность! Я считаю, что в четвертом равенстве есть ошибка знака. Кроме того, ваш гамма-PDF должен иметь дополнительный коэффициент «с» в знаменателе. Вы хотите, чтобы я отредактировал это?

— Ян Лэнгмор

@Ian Ты прав; Я обычно пишу меру как

и, не делая этого, я опускаю этот дополнительный коэффициент

. Хороший улов на знак ошибки. Если вы хотите внести изменения, не стесняйтесь!

d x / x

$dx/x$

c

$c$

— whuber

2

Я внес исправления.

— Ян Лэнгмор

10

Распределение гаммы находится в экспоненциальном семействе, потому что его плотность может быть выражена как:

\begin{aligned} f (x ∣ θ) & = \exp (η (θ) \cdot T (x) - g (θ) + h (x)) \end{aligned}

$\begin{align} \newcommand{\mbx}{\mathbf{x}} \newcommand{\btheta}{\boldsymbol{\theta}} f(\mbx \mid \btheta) &= \exp\bigl(\eta(\btheta) \cdot T(\mbx) - g(\btheta) + h(\mbx)\bigr) \end{align}$

Если посмотреть на функцию плотности гамма-излучения, то ее лог-нормализатор имеет вид с естественными параметрами

g (θ) = \log (Γ (c)) + c \log (b)

$g(\btheta) = \log(\Gamma(c)) + c\log(b)$

θ = [\begin{matrix} c - 1 \\ - \frac{1}{b} \end{matrix}]

$\btheta = \left[\begin{matrix}c-1\\-\frac1 b\end{matrix}\right]$

Все распределения в семействе экспонент имеют дивергенцию KL:

\begin{aligned} K L (q; p) & = g (θ_{p}) - g (θ_{q}) - (θ_{p} - θ_{q}) \cdot \nabla g (θ_{q}) . \end{aligned}

$\begin{align} KL(q; p) &= g(\btheta_p) - g(\btheta_q) - (\btheta_p-\btheta_q) \cdot \nabla g(\btheta_q). \end{align}$

Это действительно хорошее доказательство:

Фрэнк Нильсен, Политехническая школа и Ричард Нок, Энтропии и кросс-энтропии экспоненциальных семейств.

— Нил Г
источник

g (.)

$g(.)$

θ_{p}

$\theta_p$

θ_{q}

$\theta_q$

1

Да, эта формула для двух распределений в одном семействе экспонент.

— Нил Г