Дивергенция КЛ - это разность интегралов вида
$$ \ eqalign {I (a, b, c, d) & = \ int_0 ^ {\ infty} \ log \ left (\ frac {e ^ {- x / a} x ^ {b-1}}} a ^ b \ Gamma (b)} \ right) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} dx \
& = - \ frac {1} {a} \ int_0 ^ \ infty \ frac {x ^ de ^ {- x / c}} {c ^ d \ Gamma (d)} \, dx - \ log (a ^ b \ Gamma (b)) \ int_0 ^ \ infty \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \ & \ quad + (b- 1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \
& = - \ frac {cd} {a} - \ log (a ^ b \ Gamma (b)) + (b-1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c } x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx} $$
Нам просто нужно иметь дело с правым интегралом, который получается путем наблюдения
∂∂dΓ(d)====∂∂d∫∞0e−x/cxd−1cddx∂∂d∫∞0e−x/c(x/c)d−1cdx∫∞0e−x/cxd−1cdlogxcdx∫∞0log(x)e−x/cxd−1cddx−log(c)Γ(d).
Откуда
b−1Γ(d)∫∞0log(x)e−x/c(x/c)d−1dx=(b−1)Γ′(d)Γ(d)+(b−1)log(c).
Подключение к предыдущим доходам
I(a,b,c,d)=−cda−log(abΓ(b))+(b−1)Γ′(d)Γ(d)+(b−1)log(c).
Расхождение KL между и Γ ( a , b ) равно I ( c , d , c , d ) - I ( a , b , c , d ) , что просто собрать.Γ(c,d)Γ(a,b)I(c,d,c,d)−I(a,b,c,d)
Детали реализации
Гамма-функции быстро растут, поэтому, чтобы избежать переполнения, не вычисляйте Гамму и не используйте ее логарифм: вместо этого используйте функцию log-Гамма, которая будет найдена в любой платформе статистических вычислений (в том числе в Excel).
Отношение является логарифмическая производная Г , как правило , называют ψ , дигамма функция. Если он вам недоступен, есть сравнительно простые способы приблизить его, как описано в статье в Википедии .Γ′(d)/Γ(d)Γ,ψ,
Здесь, чтобы проиллюстрировать, является прямой R
реализацией формулы в терминах . Это не дает возможности упростить результат алгебраически, что сделало бы его немного более эффективным (исключив избыточное вычисление ψ ).Iψ
#
# `b` and `d` are Gamma shape parameters and
# `a` and `c` are scale parameters.
# (All, therefore, must be positive.)
#
KL.gamma <- function(a,b,c,d) {
i <- function(a,b,c,d)
- c * d / a - b * log(a) - lgamma(b) + (b-1)*(psigamma(d) + log(c))
i(c,d,c,d) - i(a,b,c,d)
}
print(KL.gamma(1/114186.3, 202, 1/119237.3, 195), digits=12)