Расстояние Кульбак – Лейблер - Колмогоров-Смирнов

37

Я вижу, что существует много формальных различий между мерами расстояния Кульбака-Лейблера-Колмогорова-Смирнова. Тем не менее, оба используются для измерения расстояния между распределениями.

Есть ли типичная ситуация, когда один должен использоваться вместо другого?
Каково обоснование для этого?

— Greg
источник

Смежный

— ГаБоргуля,

23

Расхождение KL обычно используется в теоретико-информационных настройках или даже в байесовских настройках, например, для измерения изменения информации между распределениями до и после применения некоторого вывода. Это не расстояние в типичном (метрическом) смысле из-за отсутствия симметрии и неравенства треугольника, и поэтому оно используется в местах, где направленность имеет смысл.

KS-расстояние обычно используется в контексте непараметрического теста. На самом деле, я редко видел, чтобы оно использовалось как общее «расстояние между распределениями», где расстояние расстояние Дженсена-Шеннона и другие расстояния более распространены. $\ell_1$

— Суреш Венкатасубраманян
источник

5

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

p_{0}

$p_0$

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$

p_{0}

$p_0$

Верно. это отличный пример. И на самом деле большинство общих версий границ хвоста Чернова-Хеффдинга используют KL-дивергенцию.

— Суреш Венкатасубраманян

2

Другой способ изложить то же самое, что и предыдущий ответ, в более непрофессиональных терминах:

Дивергенция KL - фактически показывает, насколько велика разница между двумя распределениями. Как упоминалось в предыдущем ответе, эта мера не является подходящей метрикой расстояния, поскольку она не симметрична. Т.е. расстояние между распределением A и B отличается от расстояния между распределением B и A.

Тест Колмогорова-Смирнова - это метрика оценки, которая рассматривает наибольшее разделение между совокупным распределением тестового распределения относительно эталонного распределения. Кроме того, вы можете использовать эту метрику точно так же, как z-показатель против распределения Колмогорова, чтобы выполнить проверку гипотезы относительно того, является ли тестовое распределение тем же распределением, что и эталонное. Эта метрика может использоваться как функция расстояния, поскольку она симметрична. Т.е. наибольшее разделение между CDF A и CDF B такое же, как наибольшее разделение между CDF B против CDF A.

— SriK
источник