Можно ли применить расхождение KL между дискретным и непрерывным распределением?

12

Я не математик. Я искал в Интернете о KL Divergence. Я узнал, что дивергенция KL измеряет потерянную информацию, когда мы приближаемся к распределению модели относительно входного распределения. Я видел это между любыми двумя непрерывными или дискретными распределениями. Можем ли мы сделать это между непрерывным и дискретным или наоборот?

distributions mathematical-statistics kullback-leibler

— Пракаш
источник

Связанный: stats.stackexchange.com/q/6907/2970

— кардинал

4

Нет: Дивергенция KL определяется только для распределений по общему пространству. Он спрашивает о плотности вероятности точки при двух различных распределениях, и . Если распределение на и распределение на , то не имеет смысла для точек $x$ $p(x)$ $q(x)$ $p$ $\mathbb{R}^3$ $q$ $\mathbb{Z}$ $q(x)$ ане имеет смысла для точек $p \in \mathbb{R}^3$ $p(z)$ $z \in \mathbb{Z}$ , На самом деле, мы даже не можем сделать это для двух непрерывных распределений в пространствах разных измерений (или дискретных, или в любом случае, когда базовые вероятностные пространства не совпадают).

Если вы имеете в виду конкретный случай, может быть возможно придумать какой-то подобный дух меру различия между распределениями. Например, может иметь смысл кодировать непрерывное распределение под кодом для дискретного (очевидно, с потерянной информацией), например, округляя до ближайшей точки в дискретном случае.

— Дугал
источник

Отметим, что дивергенция KL между дискретным и абсолютно непрерывным распределениями хорошо определена.

— Оливье

@ Оливье Обычное определение требует общей доминирующей меры, не так ли?

— Дугал

1

Вы правы, когда P и Q определены в разных пространствах. Но в общем измеримом пространстве такая мера всегда существует (например, P + Q), и дивергенция KL не зависит от конкретного выбора доминирующей меры.

— Оливье

8

Да, дивергенция KL между непрерывными и дискретными случайными переменными хорошо определена. Если и - распределения в некотором пространстве , то и и имеют плотности , относительно и $P$ $Q$ $\mathbb{X}$ $P$ $Q$ $f$ $g$ $\mu = P+Q$

D_{К L} (п, Q) знак равно \int_{Икс} е журнал \frac{е}{г} d μ,

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

Например, если , - мера Лебега, а - точечная масса в , то , и $\mathbb{X} = [0,1]$ $P$ $Q = \delta_0$ $0$ $f(x) = 1-\mathbb{1}_{x=0}$ $g(x) = \mathbb{1}_{x=0}$

D_{К L} (п, Q) знак равно \infty,

$D_{KL}(P, Q) = \infty.$

— Оливье
источник

Как доказать, что

не зависит от доминирующей меры?

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$

— Габриэль Ромон

Теорема об изменении меры.

— Оливье

1

Не в общем. Дивергенция КЛ

D_{К L} (п | | Q) знак равно \int_{Икс} журнал (\frac{d п}{d Q}) d п

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

$P$ $Q$ $P$ $Q$ $\sigma$ $\frac{dP}{dQ}$

$\sigma$

— jtobin
источник