Каково максимальное значение дивергенции Кульбака-Лейблера (КЛ)

Я собираюсь использовать дивергенцию KL в своем коде Python, и я получил это руководство .

На этом уроке реализовать дивергенцию KL довольно просто.

kl = (model * np.log(model/actual)).sum()

Как я понимаю, распределение вероятностей modelи actualдолжно быть <= 1.

Мой вопрос: какова максимальная граница / максимально возможное значение k ?. Мне нужно знать максимально возможное значение расстояния кл, как для максимальной границы в моем коде.

Или даже с той же поддержкой, когда у одного распределения гораздо более толстый хвост, чем у другого. Возьмем

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ когда $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ , то $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ и $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$ Существуют другие расстояния, которые остаются ограниченными, такие как

• $L¹$ расстояние, что эквивалентно общему расстоянию вариации,
• Вассерштейнские расстояния
• расстояние Хеллингера

Для распределений, которые не имеют такой же поддержки, дивергенция KL не ограничена. Посмотрите на определение:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

если P и Q не имеют одинаковой опоры, существует некоторая точка где p ( x ′ ) ≠ 0 и q ( x ′ ) = 0 , заставляя KL уходить в бесконечность. Это также применимо для дискретных распределений, что является вашим случаем.$x'$$p(x') \neq 0$$q(x') = 0$

Редактировать: Возможно, лучшим выбором для измерения расхождения между распределениями вероятности будет так называемое расстояние Вассерштейна, которое является метрикой и имеет лучшие свойства, чем расхождение KL. Он стал довольно популярным благодаря своим приложениям для глубокого обучения (см. Сети WGAN).

Чтобы добавить к превосходным ответам Карлоса и Сианя , также интересно отметить, что достаточное условие конечности расходимости KL состоит в том, что обе случайные величины имеют одинаковый компактный носитель, а опорная плотность ограничена , Этот результат также устанавливает неявную оценку максимума расходимости KL (см. Теорему и доказательство ниже).

---

Теорема: если плотности и q имеют один и тот же компактный носитель X и плотность p ограничена на этом носителе (т. Е. Имеет конечную верхнюю границу), то K L ( P | | Q ) < ∞ .$p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

Доказательство: поскольку имеет компактную поддержку X, это означает, что существует некоторое положительное минимальное значение:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

$\blacksquare$