Оценить информационную энтропию с помощью выборки Монте-Карло

10

Я ищу методы, позволяющие оценить информационную энтропию распределения, когда единственными практическими способами выборки из этого распределения являются методы Монте-Карло.

Моя проблема мало чем отличается от стандартной модели Изинга, которая обычно используется в качестве вводного примера для выборки Метрополис-Гастингс. У меня есть распределение вероятностей множества , то есть у меня есть для каждого . Элементы имеют комбинаторную природу, как и состояния Изинга, и их очень много. Это означает, что на практике я никогда не получаю одну и ту же выборку дважды при выборке из этого дистрибутива на компьютере. нельзя вычислить напрямую (из-за незнания коэффициента нормализации), но соотношение легко вычислить. $A$ $p(a)$ $a \in A$ $a \in A$ $p(a)$ $p(a_1)/p(a_2)$

Я хочу оценить информационную энтропию этого распределения,

S знак равно - \underset{a \in A}{Σ} п (a) пер п (a),

$S = -\sum_{a \in A} p(a) \ln p(a).$

В качестве альтернативы я хочу оценить разницу энтропии между этим распределением и распределением, полученным путем ограничения его на подмножество (и, конечно, повторную нормализацию). $a\in A_1 \subset A$

monte-carlo random-sampling

— Чарльз Уэллс
источник

3

Если я понимаю, какая информация у вас имеется, то, что вы хотите, невозможно: доступной вам информации недостаточно для определения энтропии. Этого даже недостаточно, чтобы приблизить энтропию.

Похоже, у вас есть способ выборки из распределения , и у вас есть способ вычислить отношение для любой пары элементов которую вы получили через выборку, но у вас нет другой информации. Если это так, ваша проблема не решаема. $p(\cdot)$ $p(a_1)/p(a_2)$ $a_1,a_2$

В частности, мы можем найти пару дистрибутивов, которые имеют разные энтропии, но которые нельзя различить, используя доступную вам информацию. Сначала рассмотрим равномерное распределение на (случайном) множестве размера . Далее рассмотрим равномерное распределение на (случайном) множестве размера . Они имеют разные энтропии (200 бит против 300 бит). Однако, учитывая доступную вам информацию, у вас нет возможности узнать, с каким из этих двух дистрибутивов вы работаете. В частности, в обоих случаях соотношение $2^{200}$ $2^{300}$ $p(a_1)/p(a_2)$ всегда будет ровно 1, поэтому соотношения не помогут вам различить эти два распределения. И из-за парадокса дня рождения вы можете выбирать столько раз, сколько хотите, но вы никогда не получите одно и то же значение дважды (не в течение жизни, за исключением экспоненциально малой вероятности), поэтому значения, полученные из выборки, будут выглядеть просто случайные точки и не содержат никакой полезной информации.

Итак, чтобы решить вашу проблему, вам нужно знать что-то большее. Например, если вы знаете что-то о структуре распределения , это может помочь решить вашу проблему. $p(\cdot)$

— DW
источник

Действительно,

обладает особым свойством: оно подобно Гиббсу, то есть

где

- «энергия»

. За исключением того, что существует несколько «энергетических» величин, каждая со своим соответствующимпараметром

.

p (a)

$p(a)$

p (a) \propto \exp (θ E (a))

$p(a) \propto \exp(\theta E(a))$

E

$E$

a

$a$

θ

$\theta$

— Чарльз Уэллс

1

@CharlesWells, я не понимаю, что вы подразумеваете под «множественными величинами». Похоже, это стоит опубликовать отдельно, в качестве отдельного вопроса, где вы даете нам информацию о структуре

. Может быть, есть решение этого особого случая.

p (a)

$p(a)$

— DW

2

Для второй части вопроса (оценка энтропии разницы между распределениями) вы можете иметь возможность использовать тождество где средняя энергия, представляет собой температуру (она пропорциональна в ), а - энтропия. Подробнее см .: Джейнс Э. (1957). Теория информации и статистическая механика. Physical Review, 106 (4), 620–630. http://doi.org/10.1103/PhysRev.106.620 .

F знак равно ⟨ Е ⟩ - T S,

$F = \langle E \rangle - T S,$

⟨ E ⟩

$\langle E \rangle$

T

$T$

θ

$\theta$

p \propto e^{θ E}

$p \propto \mathrm{e}^{\theta E}$

S

$S$

$\Delta F$ $\Delta S$ $\Delta F$ $\Delta \langle E \rangle$ $A_1$ $A$ $E$ $A_1$

Вот две дополнительные ссылки на алгоритмы для вычисления свободной энергии:

Lelièvre, T., Rousset, M. & Stoltz, G. (2010). Расчеты бесплатной энергии. Императорский Колледж Пресс. http://doi.org/10.1142/9781848162488

Chipot, C. & Pohorille, A. (2007). Расчеты бесплатной энергии. (C. Chipot & A. Pohorille, Eds.) (Том 86). Берлин, Гейдельберг: Springer Berlin Heidelberg. http://doi.org/10.1007/978-3-540-38448-9

— Хуан М. Белло-Ривас
источник

Можете ли вы дать более практические рекомендации для вычисления различий в свободной энергии? Эта вики не заходит очень далеко

— Чарльз Уэллс

Выполнено. Я добавил еще две ссылки и указал на ссылки на боковой панели вики.

— Хуан М. Белло-Ривас