Различия между расстоянием Бхаттачарья и расхождением КЛ

33

Я ищу интуитивное объяснение для следующих вопросов:

В статистике и теории информации, в чем разница между расстоянием Бхаттачарьи и расхождением KL, как мерами разницы между двумя дискретными распределениями вероятностей?

Разве они не имеют абсолютно никаких отношений и измеряют расстояние между двумя вероятностными распределениями совершенно по-другому?

— JewelSue
источник

36

Коэффициент Бхаттачарьи определяется как

D_{B} (p, q) = \int \sqrt{p (x) q (x)} d x

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$ и может быть превращен в расстояние

d_{H} (p, q)

$d_H(p,q)$ , как

d_{H} (p, q) = {1 - D_{B} (p, q)}^{1 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$ , который называетсяХеллингер расстояние. Связь между этимрасстоянием Хеллингераирасходимостью Кульбака-Лейблераравна

d_{K L} (p ‖ q) \geq 2 d_{H}^{2} (p, q) = 2 {1 - D_{B} (p, q)} .

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

Однако это не вопрос: если расстояние Бхаттачарьи определено как

d_{B} (p, q) \overset{def}{=} - \log D_{B} (p, q),

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$ то

\begin{aligned} d_{B} (p, q) = - \log D_{B} (p, q) & = - \log \int \sqrt{p (x) q (x)} d x \\ \overset{def}{=} - \log \int h (x) d x \\ = - \log \int \frac{h (x)}{p (x)} p (x) d x \\ \leq \int - \log {\frac{h (x)}{p (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{h^{2} (x)}{p^{2} (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{q (x)}{p (x)}} p (x) d x = \frac{1}{2} d_{K L} (p ‖ q) \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$ Отсюда и неравенство между эти два расстояния:

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) .

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$ Тогда можно задаться вопросом, следует ли это неравенство из первого. Это происходит наоборот:

- l o g (x) \geq 1 - x 0 \leq x \leq 1,

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$ введите описание изображения здесь

у нас есть полный порядок

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) \geq 2 d_{H} (p, q)^{2} .

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

— Сиань
источник

2

Brilliant! Это объяснение должно быть то, что я ищу с нетерпением. Еще один последний вопрос: в каком случае (или какие виды P и Q) неравенство станет равенством?

— JewelSue

1

Учитывая, что функция строго выпуклая, я бы предположил, что единственный случай равенства - это когда отношение является постоянным по .

- \log (\cdot)

$-\log(\cdot)$

p (x) / q (x)

$p(x)/q(x)$

x

$x$

— Сиань

5

И единственный случай, когда является постоянным по это когда .

p (x) / q (x)

$p(x)/q(x)$

x

$x$

p = q

$p=q$

— Сиань

8

Я не знаю какой-либо явной связи между ними, но решил быстро ткнуть в них, чтобы посмотреть, что я смог найти. Так что это не столько ответ, сколько интересный вопрос.

Для простоты давайте поработаем над дискретными распределениями. Мы можем записать расстояние до нашей эры как

d_{BC} (p, q) = - \ln \sum_{x} (p (x) q (x))^{\frac{1}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

и дивергенция KL как

d_{KL} (p, q) = \sum_{x} p (x) \ln \frac{p (x)}{q (x)}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

Теперь мы не можем поместить журнал в сумму на расстоянии , поэтому давайте попробуем вытащить журнал за пределы расхождения : $\text{BC}$ $\text{KL}$

d_{KL} (p, q) = - \ln \prod_{x} {(\frac{q (x)}{p (x)})}^{p (x)}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

Рассмотрим их поведение при фиксированном как равномерное распределение по возможностям: $p$ $n$

d_{KL} (p, q) = - \ln n - \ln {(\prod_{x} q (x))}^{\frac{1}{n}} d_{BC} (p, q) = - \ln \frac{1}{\sqrt{n}} - \ln \sum_{x} \sqrt{q (x)}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

Слева у нас есть журнал чего-то похожего по форме на среднее геометрическое . Справа мы имеем что-то похожее на логарифм среднего арифметического . Как я уже сказал, это не очень хороший ответ, но я думаю, что он дает четкое представление о том, как расстояние до н.э. и дивергенция KL реагируют на отклонения между и . $p$ $q$

— Энди Джонс
источник