Адаптация расстояния Кульбака-Лейблера?

Посмотри на эту картину:

Если мы возьмем образец из красной плотности, то ожидается, что некоторые значения будут меньше 0,25, тогда как невозможно получить такой образец из синего распределения. Как следствие, расстояние Кульбака-Лейблера от красной плотности до голубой плотности равно бесконечности. Тем не менее, эти две кривые не настолько различны, в некотором «естественном смысле».

Вот мой вопрос: существует ли адаптация расстояния Кульбака-Лейблера, которая позволила бы конечное расстояние между этими двумя кривыми?

Вы можете взглянуть на главу 3 Devroye, Gyorfi и Lugosi, «Вероятностная теория распознавания образов» , Springer, 1996. См., В частности, раздел о расхождениях.$f$

$f$ Дивергенции можно рассматривать как обобщение Кульбака-Лейблера (или, альтернативно, KL можно рассматривать как частный случай дивергенции).$f$

Общая форма:

$$D_f(p, q) = \int q(x) f\left(\frac{p(x)}{q(x)}\right) \, \lambda(dx) ,$$

где - это мера, которая доминирует над мерами, связанными с и а - выпуклая функция, удовлетворяющая . (Если и являются плотностями относительно меры Лебега, просто замените обозначение на и все готово.)p q f ( ⋅ ) f ( 1 ) = 0 p ( x ) q ( x ) d x λ ( d x $\lambda$$p$$q$$f(\cdot)$$f(1) = 0$$p(x)$$q(x)$$dx$$\lambda(dx)$

Мы восстановим KL, взяв . Мы можем получить разность Хеллингера с помощью и получить полное изменение или расстояние , взяв, Последний даетf ( x ) = ( 1 - $f(x) = x \log x$L1f(x)=$f(x) = (1 - \sqrt{x})^2$$L_1$$f(x) = \frac{1}{2} |x - 1|$

$$D_{\mathrm{TV}}(p, q) = \frac{1}{2} \int |p(x) - q(x)| \, dx$$

Обратите внимание, что этот последний, по крайней мере, дает вам конечный ответ.

В другой маленькой книге, озаглавленной « Оценка плотности: вид$L_1$ , Девройе настоятельно рекомендует использовать это последнее расстояние из-за его множества хороших свойств инвариантности (среди прочих). Эта последняя книга, вероятно, немного сложнее, чем первая, и, как следует из названия, немного более специализирована.

---

Приложение : Благодаря этому вопросу мне стало известно, что мера, которую предлагает @Didier, (с точностью до константы) известна как расхождение Дженсена-Шеннона. Если вы перейдете по ссылке на ответ, предоставленный в этом вопросе, то увидите, что квадратный корень этой величины на самом деле является метрикой и ранее был признан в литературе частным случаем дивергенции. , Мне показалось интересным, что мы, похоже, коллективно «заново изобрели» колесо (довольно быстро) посредством обсуждения этого вопроса. Интерпретация, которую я дал ему в комментарии ниже @ Ответ Дидье, также был ранее признан. На самом деле, все довольно аккуратно.$f$

Расходимость Кульбака-Лейблера для относительно бесконечна, когда не является абсолютно непрерывным относительно , то есть когда существует измеримое множество такое, что и . Кроме того, дивергенция KL не является симметричной в том смысле, что в общем случае . Напомним, что Выходом из обоих этих недостатков, все еще основанным на расхождении KL, является введение средней точки Таким образом,$\kappa(P|Q)$$P$$Q$$P$$Q$$A$$Q(A)=0$$P(A)\ne0$$\kappa(P\mid Q)\ne\kappa(Q\mid P)$

$$\kappa(P\mid Q)=\int P\log\left(\frac{P}{Q}\right).$$ $$R=\tfrac12(P+Q).$$ $R$является вероятностной мерой, а и всегда абсолютно непрерывны по отношению к . Следовательно, можно рассмотреть «расстояние» между и , все еще основанное на расхождении KL, но использующее , определяемое как Тогда неотрицательна и конечна для всех и , симметрична в том смысле, что для всех и , и тогда и только тогда .$P$$Q$$R$$P$$Q$$R$ $$\eta(P,Q)=\kappa(P\mid R)+\kappa(Q\mid R).$$ $\eta(P,Q)$$P$$Q$$\eta$$\eta(P,Q)=\eta(Q,P)$$P$$Q$P = $\eta(P,Q)=0$$P=Q$

Эквивалентная формулировка

$$\eta(P,Q)=2\log(2)+\int \left(P\log(P)+Q\log(Q)-(P+Q)\log(P+Q)\right).$$

Приложение 1 Введение средней точки и не является произвольным в том смысле, что где минимум превышает набор вероятностных мер.$P$$Q$

$$\eta(P,Q)=\min [\kappa(P\mid \cdot)+\kappa(Q\mid \cdot)],$$

Приложение 2 @ cardinal отмечает, что также является дивергенцией для выпуклой функции $\eta$$f$

$$f(x)=x\log(x)−(1+x)\log(1+x)+(1+x)\log(2).$$

Колмогорова расстояние между двумя распределениями и является SUP норма их CDFs. (Это наибольшее вертикальное расхождение между двумя графиками CDF.) Оно используется в распределительном тестировании, где - предполагаемое распределение, а - эмпирическая функция распределения набора данных.$P$$Q$$P$$Q$

Трудно охарактеризовать это как «адаптацию» расстояния KL, но оно действительно отвечает другим требованиям быть «естественным» и конечным.

Кстати, поскольку дивергенция KL не является истинным «расстоянием», нам не нужно беспокоиться о сохранении всех аксиоматических свойств расстояния. Мы можем сохранить свойство неотрицательности, делая значения конечного применения любого монотонного преобразования для некоторого конечного значения . Например, обратная касательная будет в порядке.$\mathbb{R_+} \to [0,C]$$C$

Да, Бернардо и Реуда определили нечто, называемое «внутренним расхождением», которое для всех целей является «симметризованной» версией KL-дивергенции. Принятие расхождения KL от до за Внутреннее расхождение определяется как:$P$$Q$$\kappa(P \mid Q)$

$$\delta(P,Q)\equiv \min \big[\kappa(P \mid Q),\kappa(Q \mid P)\big]$$

Поиск внутреннего несоответствия (или критерия байесовского критерия) даст вам несколько статей по этому показателю.

В вашем случае вы бы просто взяли KL-дивергенцию, которая конечна.

Другая альтернативная мера для KL - расстояние Хеллингера

РЕДАКТИРОВАТЬ: уточнение, некоторые высказанные замечания предположили, что внутреннее расхождение не будет конечным, когда одна плотность 0, а другая нет. Это неверно, если операция оценки нулевой плотности выполняется как предел или . Предел четко определен, и он равен для одной из дивергенций KL, а другая будет расходиться. Чтобы увидеть это примечание:$Q\rightarrow 0$ $P\rightarrow 0$ $0$

$$\delta(P,Q)\equiv \min \Big[\int P \,\log \big(\frac{P}{Q}\big),\int Q \log \big(\frac{Q}{P}\big)\Big]$$

Принимая предел как по области интеграла, второй интеграл расходится, и первый интеграл сходится к по этой области (предполагая, что условия таковы, что можно поменять пределы и интегрирование). Это потому, что . В силу симметрии в и результат также имеет место для .$P\rightarrow 0$$0$$\lim_{z\rightarrow 0} z \log(z) =0$$P$$Q$$Q$