Расхождение Кульбака-Лейблера БЕЗ теории информации

После долгих размышлений о Cross Validated я все еще не чувствую, что я ближе к пониманию дивергенции KL вне области теории информации. Это довольно странно, когда кто-то с математическим образованием находит, что гораздо легче понять объяснение теории информации.

Чтобы изложить мое понимание на фоне теории информации: если у нас есть случайная переменная с конечным числом результатов, существует оптимальное кодирование, которое позволяет нам сообщать результат кому-то еще, в среднем самое короткое сообщение (я считаю, что проще всего картинка в терминах битов). Ожидаемая длина сообщения, необходимого для сообщения результата, определяется как если используется оптимальное кодирование. Если бы вы использовали субоптимальное кодирование, то дивергенция KL в среднем говорит нам, насколько длиннее будет наше сообщение.

$$-\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha})$$

Мне нравится это объяснение, потому что оно довольно интуитивно касается асимметрии дивергенции KL. Если у нас есть две разные системы, то есть две загруженные монеты, которые загружаются по-разному, они будут иметь разные оптимальные кодировки. Я как-то инстинктивно не чувствую, что использование кодировки второй системы для первой «одинаково плохо» для кодирования первой системы для второй. Не вдаваясь в мыслительный процесс того, как я себя убедил, я теперь довольно счастлив, что дает вам эту "дополнительную ожидаемую длину сообщения", когда используется кодировка для .

$$\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})$$ $q$$p$

Тем не менее, большинство определений дивергенции KL, включая Википедию, затем делают утверждение (сохраняя его в дискретных терминах, чтобы его можно было сравнить с интерпретацией теории информации, которая работает гораздо лучше в дискретных терминах, поскольку биты дискретны), что если у нас есть две дискретные вероятности распределений, то KL предоставляет некоторую метрику «насколько они различны». Мне еще предстоит увидеть одно объяснение того, как эти два понятия связаны между собой. Кажется, я помню, что в своей книге о выводах Дейв Маккей подчеркивает, что сжатие и вывод данных в основном одно и то же, и я подозреваю, что мой вопрос действительно связан с этим.

Независимо от того, так это или нет, вопрос, который я имею в виду, касается проблем логического вывода. (Сохраняя вещи дискретными), если у нас есть два радиоактивных образца, и мы знаем, что один из них - это определенный материал с известной радиоактивностью (это сомнительная физика, но давайте притворимся, что Вселенная работает так), и, таким образом, мы знаем «истинное» распределение количество радиоактивных щелчков, которые мы должны измерить, должно быть пуассоновским с известным $\lambda$ Справедливо ли построить эмпирическое распределение для обоих образцов и сравнить их расхождения KL с известным распределением и сказать, что более низкий уровень вероятности будет тем материалом?

Если отойти от сомнительной физики, если я знаю, что два образца взяты из одного и того же распределения, но я знаю, что они выбраны не случайно, сравнение их расхождений KL с известным глобальным распределением дало бы мне ощущение того, «насколько смещены» образцы. Относительно одного и другого в любом случае?

И, наконец, если ответ на предыдущие вопросы - да, то почему? Можно ли понять эти вещи только со статистической точки зрения без каких-либо (возможно, незначительных) связей с теорией информации?

Существует чисто статистический подход к дивергенции Кульбака-Лейблера: возьмите выборку iid из неизвестного распределения p ⋆ и рассмотрите потенциальное соответствие семейством распределений, F = { p $X_1,\ldots,X_n$$p^\star$ Соответствующая вероятность определяется как L ( θ | x 1 , … , x n ) = n ∏ i = 1 p θ ( x i ) и его логарифм равен ℓ ( θ | x 1 , … , x n ) = n ∑ i = 1 log p θ ( x i

$$\mathfrak{F}=\{p_\theta\,,\ \theta\in\Theta\}$$ $$L(\theta|x_1,\ldots,x_n)=\prod_{i=1}^n p_\theta(x_i)$$ $$\ell(\theta|x_1,\ldots,x_n)=\sum_{i=1}^n \log p_\theta(x_i)$$ Следовательно, которая является интересной частью расхождения Кульбака-Лейблера между p θ и p ⋆ H ( p θ | p ⋆ ) def = ∫ log { p ⋆ ( x ) / p θ ( x ) $$\frac{1}{n} \ell(\theta|x_1,\ldots,x_n) \longrightarrow \mathbb{E}[\log p_\theta(X)]=\int \log p_\theta(x)\,p^\star(x)\text{d}x$$ $p_\theta$$p^\star$ другая часть ∫ log { p ⋆ ( x ) $$\mathfrak{H}(p_\theta|p^\star)\stackrel{\text{def}}{=}\int \log \{p^\star(x)/p_\theta(x)\}\,p^\star(x)\text{d}x$$ имеет минимум [в θ ] для H ( p θ | p ⋆ ), равный нулю. $$\int \log \{p^\star(x)\}\,p^\star(x)\text{d}x$$ $\theta$$\mathfrak{H}(p_\theta|p^\star)$

Книга, которая связывает расхождение, теорию информации и статистический вывод, является Оптимальной оценкой параметров Риссанена , которую я рассмотрел здесь .

Вот статистическая интерпретация дивергенции Кульбака-Лейблера, свободно взятая из IJ Good ( Вес доказательств: краткий обзор , Bayesian Statistics 2, 1985).

Вес доказательств.

$x_1, x_2, \dots, x_n$$f_0$$H_1$$H_2$$f_0$$H_1 = \{f_1\}$$H_2 = \{f_2\}$$f_0$$f_1$$f_2$

$x = (x_1, \dots, x_n)$$H_1$$H_2$

$$W(x) = \log \frac{f_1(x)}{f_2(x)} .$$ $P$$H_0$$H_1$$W$ $$\log \frac{P(H_0 | x)}{P(H_1 | x)} = W(x) + \log\frac{P(H_0)}{P(H_1)}.$$ $$W(x_1, \dots, x_n) = W(x_1) + \dots +W(x_n) .$$ $W(x)$$x$$H_1$$H_2$

$x$$W(x)$$W(x) > 2$

Расхождение Кульбака-Лейблера

$f_1$$f_2$$x \sim f_1$

$$KL(f_1, f_2) = \mathbb{E}_{x \sim f_1} W(x) = \int f_1 \log\frac{f_1}{f_2}.$$

$x \sim f_1$$H_1 = \{f_1\}$$H_2$

$$\mathbb{E}_{x \sim f_1} W(x) \geq 0.$$

I have yet to see a single explanation of how these two concepts are even related.

I don't know much about information theory, but this is how I think about it: when I hear an information theory person say "length of the message," my brain says "surprise." Surprise is 1.) random and 2.) subjective.

By 1.) I mean that "surprise" is just a transformation of your random variable $X$, using some distribution $q(X)$. Surprise is defined as $- \log q(X)$, and this is definition whether or not you have a discrete random variable.

Surprise is a random variable, so eventually we want to take an expectation to make it a single number. By 2), when I say "subjective," I mean you can use whatever distribution you want ($q$), to transform $X$. The expectation, however, will always be taken with respect to the "true" distribution, $p$. These may or may not be equal. If you transform with the true $p$, you have $E_p[-\log p(X)]$, that's entropy. If some other distribution $q$ that's not equal to $p$, you get $E_p[-\log q(X)]$, and that's cross entropy. Notice how if you use the wrong distribution, you always have a higher expected surprise.

Instead of thinking about "how different they are" I think about the "increase in expected surprise from using the wrong distribution." This is all from properties of the logarithm.

$$E_p[\log \left( \frac{p(X)}{q(X)} \right)] = E_p[-\log q(X)] - E_p[- \log p(X)] \ge 0.$$

Edit

Response to: "Can you elaborate on how $−\log(q(x))$ is a measure of "surprise"? This quantity alone seems meaningless, as it is not even invariant under linear transforms of the sample space (I assume $q$ is a pdf)"

For one, think about what it maps values of $X$ to. If you have a $q$ that maps a certain value $x$ to $0$, then $-\log(0) = \infty$. For discrete random variables, realizations with probability $1$ have "surprise" $0$.

Second, $-\log$ is injective, so there is no way rarer values get less surprise than less rare ones.

For continuous random variables, a $q(x) > 1$ will coincide with a negative surprise. I guess this is a downside.

Olivier seems to be hinting at a property his "weight of evidence" quantity has that mine does not, which he calls an invariance under linear transformations (I'll admit I don't totally understand what he means by sample space). Presumably he is talking about if $X \sim q_X(x)$, then $Y=aX+b \sim q_x((y-b)/a)|1/a|$ as long as $X$ is continuous. Clearly $-\log q_X(X) \neq -\log q_Y(Y)$ due to the Jacobian.

I don't see how this renders the quantity "meaningless," though. In fact I have a hard time understanding why invariance is a desirable property in this case. Scale is probably important. Earlier, in a commment, I mentioned the example of variance, wherein the random variable we are taking the expectation of is $(X-EX)^2$. We could interpret this as "extremeness." This quantity suffers from lack of invariance as well, but it doesn't render meaningless peoples' intuition about what variance is.

Edit 2: looks like I'm not the only one who thinks of this as "surprise." From here:

The residual information in data $y$ conditional on $\theta$ may be defined (up to a multiplicative constant) as $-2 \log\{ p(y \mid \theta)\}$ (Kullback and Leibler, 1951; Burnham and Anderson, 1998) and can be interpreted as a measure of 'surprise' (Good, 1956), logarithmic penalty (Bernardo, 1979) or uncertainty.