Вопросы с тегом «kullback-leibler»

Мне нужно определить KL-расхождение между двумя гауссианами. Я сравниваю свои результаты с этими , но я не могу воспроизвести их результаты. Мой результат, очевидно, неверен, потому что KL не 0 для KL (p, p). Интересно, где я делаю ошибку и спрашиваю, может ли кто-нибудь ее заметить. Пусть и . Из …

79 normal-distribution  kullback-leibler 

Я узнал об интуиции, лежащей в основе дивергенции KL, о том, насколько функция распределения моделей отличается от теоретического / истинного распределения данных. Источник Читаю продолжает говорить о том , что интуитивное понимание «расстояний» между этими двумя распределениями является полезным, но не следует воспринимать буквально , потому что для двух распределений …

48 distributions  distance  intuition  kullback-leibler 

У меня проблемы с выводом формулы дивергенции KL, предполагающей два многомерных нормальных распределения. Я сделал одномерный случай довольно легко. Тем не менее, прошло довольно много времени с тех пор, как я взял статистику по математике, поэтому у меня возникли некоторые проблемы с распространением ее на многовариантный вариант. Я уверен, что …

46 normal-distribution  kullback-leibler  proof 

На мой взгляд, расхождение KL от распределения выборки до истинного распределения - это просто разница между кросс-энтропией и энтропией. Почему мы используем перекрестную энтропию как функцию стоимости во многих моделях машинного обучения, но используем расхождение Кульбака-Лейблера в t-sne? Есть ли разница в скорости обучения?

39 kullback-leibler  tsne  cross-entropy 

Я вижу, что существует много формальных различий между мерами расстояния Кульбака-Лейблера-Колмогорова-Смирнова. Тем не менее, оба используются для измерения расстояния между распределениями. Есть ли типичная ситуация, когда один должен использоваться вместо другого? Каково обоснование для этого?

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

Я ищу интуитивное объяснение для следующих вопросов: В статистике и теории информации, в чем разница между расстоянием Бхаттачарьи и расхождением KL, как мерами разницы между двумя дискретными распределениями вероятностей? Разве они не имеют абсолютно никаких отношений и измеряют расстояние между двумя вероятностными распределениями совершенно по-другому?

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

Существуют ли меры сходства или расстояния между двумя симметричными ковариационными матрицами (обе имеют одинаковые размеры)? Я имею в виду аналоги KL-расходимости двух вероятностных распределений или евклидова расстояния между векторами, за исключением примененных к матрицам. Я предполагаю, что было бы довольно много измерений подобия. В идеале я также хотел бы проверить …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Посмотри на эту картину: Если мы возьмем образец из красной плотности, то ожидается, что некоторые значения будут меньше 0,25, тогда как невозможно получить такой образец из синего распределения. Как следствие, расстояние Кульбака-Лейблера от красной плотности до голубой плотности равно бесконечности. Тем не менее, эти две кривые не настолько различны, в …

28 kullback-leibler 

В чем практическая разница между метрикой Вассерштейна и дивергенцией Кульбака-Лейблера ? Метрика Вассерштейна также называется расстоянием перемещения Земли . Из Википедии: Метрика Вассерштейна (или Вазерштейна) - это функция расстояния, определяемая между вероятностными распределениями в данном метрическом пространстве М. а также Дивергенция Кульбака – Лейблера - это мера того, как одно …

25 distributions  kullback-leibler  metric  wasserstein 

После долгих размышлений о Cross Validated я все еще не чувствую, что я ближе к пониманию дивергенции KL вне области теории информации. Это довольно странно, когда кто-то с математическим образованием находит, что гораздо легче понять объяснение теории информации. Чтобы изложить мое понимание на фоне теории информации: если у нас есть …

23 inference  entropy  information-theory  kullback-leibler  compression 

Я изучаю деревья классификации и регрессии, и одним из показателей местоположения разделения является оценка GINI. Теперь я привык определять лучшее место разделения, когда логарифм отношения правдоподобия одних и тех же данных между двумя распределениями равен нулю, что означает, что вероятность членства одинаково вероятна. Моя интуиция говорит, что должна быть какая-то …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

Может ли кто-то доказать следующую связь между информационной метрикой Фишера и относительной энтропией (или дивергенцией KL) чисто математически строгим образом? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) где , g_ {i, j} = \ int \part_i (\ log p (x; a)) …

20 mathematical-statistics  kullback-leibler  fisher-information 

Рассмотрим следующие два вероятностных распределения. P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Я рассчитал дивергенцию Кульбака-Лейблера, равную , я хочу знать, в целом, что показывает это число? Вообще, дивергенция Кульбака-Лейблера показывает мне, насколько далеко одно распределение вероятностей …

18 interpretation  information-theory  kullback-leibler 

Почему дивергенция КЛ неотрицательна? С точки зрения теории информации у меня есть такое интуитивное понимание: Скажем, есть два ансамбля AAA и BBB которые состоят из одного и того же набора элементов, помеченных знаком xxx . p(x)p(x)p(x) и q(x)q(x)q(x) - разные распределения вероятностей по ансамблю AAA и BBB соответственно. С точки …

18 information-theory  kullback-leibler 

Выбор параметризации гамма-распределения с помощью pdf Дивергенция Кульбака-Лейблера между и определяется как [1] ​​какΓ(b,c)Γ(b,c)\Gamma(b,c)g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}Γ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)Γ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p) KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Я предполагаю, что - это функция дигаммы . Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) …

15 kullback-leibler  gamma-distribution  exponential-family