Связь между метрикой Фишера и относительной энтропией

Может ли кто-то доказать следующую связь между информационной метрикой Фишера и относительной энтропией (или дивергенцией KL) чисто математически строгим образом?

$$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$$ где , g_ {i, j} = \ int \part_i (\ log p (x; a)) \ part_j (\ log p (x; a)) ~ p (x; a) ~ dx и g_ {i, j} \, da ^ i \, da ^ j: = \ sum_ {i, j} g_ {i, j} \, da ^ i \, da ^ j - это соглашение Эйнштейна о суммировании.$a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ $$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$$ $g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$

Я нашел это в прекрасном блоге Джона Баеза, где Василий Анагностопулос говорит об этом в комментариях.

В 1946 году геофизик и байесовский статистик Гарольд Джеффрис представил то, что мы сегодня называем дивергенцией Кульбака-Лейблера, и обнаружил, что для двух распределений, которые «бесконечно близки» (будем надеяться, что ребята из Math SE этого не видят ;-) мы можем написать их расхождение Кульбака-Лейблера как квадратичная форма, коэффициенты которой задаются элементами информационной матрицы Фишера. Он интерпретировал эту квадратичную форму как элемент длины риманова многообразия, причем информация Фишера играет роль римановой метрики. Из этой геометризации статистической модели он вывел априор Джеффриса как меру, естественно индуцированную римановой метрикой, и эту меру можно интерпретировать как внутренне однородное распределение на многообразии, хотя, в общем, она не является конечной мерой.

Чтобы написать строгое доказательство, вам нужно определить все условия регулярности и позаботиться о порядке слагаемых ошибок в разложениях Тейлора. Вот краткий набросок аргумента.

Симметризованная дивергенция Кульбака-Лейблера между двумя плотностями и определяется как$f$$g$

$$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$$

Если у нас есть семейство плотностей, параметризованное , то$\theta=(\theta_1,\dots,\theta_k)$

$$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$$ в котором . Вводя обозначение некоторая простая алгебра дает Используя разложение Тейлора для натурального логарифма, мы имеем $\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$ $$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$$ $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$$ $$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$$ и, следовательно, Но Следовательно, в котором $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$$ $$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$$ $$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$$ $$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$$

Это оригинальная статья:

Джеффрис, Х. (1946). Инвариантная форма априорной вероятности в задачах оценки. Proc. Royal Soc. Лондон, серия А, 186, 453–461.

Доказательство для обычной (несимметричной) дивергенции KL

В ответе Дзэн используется симметризованная дивергенция KL, но результат верен и для обычной формы, поскольку он становится симметричным для бесконечно малых распределений.

Вот доказательство для дискретных распределений, параметризованных скалярным (потому что я ленивый), но может быть легко переписано для непрерывных распределений или вектора параметров:$\theta$

$$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$$ Тейлор, расширяющий последний член: Предполагая некоторые закономерности, я использовал два результата: $$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$$ $$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$$

$$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$$

Вы можете найти аналогичное соотношение (для одномерного параметра) в уравнении (3) следующей статьи

D. Guo (2009), Относительная энтропия и функция оценки: новые соотношения информации и оценки через произвольное аддитивное возмущение , в Proc. IEEE Международный симпозиум по теории информации , 814–818. ( стабильная ссылка ).

Авторы ссылаются на

С. Кульбак, Теория информации и статистика . Нью-Йорк: Довер, 1968.

для доказательства этого результата.