Расчет предельной вероятности по образцам MCMC

Это повторяющийся вопрос (см. Этот пост , этот пост и этот пост ), но у меня другое вращение.

Предположим, у меня есть набор сэмплов из стандартного сэмплера MCMC. Для каждого образца я знаю значение вероятности записи в журнал и предшествующего . Если это помогает, я также знаю значение вероятности записи в журнал для каждой точки данных, (эта информация помогает в некоторых методах, таких как WAIC и PSIS-LOO).$\theta$$\log f(\textbf{x} | \theta)$$\log f(\theta)$$\log f(x_i | \theta)$

Я хочу получить (грубую) оценку предельной вероятности, только с имеющимися у меня выборками, и, возможно, с некоторыми другими оценками функций (но без повторного запуска специальной MCMC).

Прежде всего, давайте очистим таблицу. Все мы знаем, что оценка гармоник - худшая оценка за всю историю . Давайте двигаться дальше. Если вы делаете выборку Гиббса с априорами и постерами в закрытой форме, вы можете использовать метод Чиба ; но я не уверен, как обобщать за пределами этих случаев. Существуют также методы, которые требуют, чтобы вы изменили процедуру выборки (например, с помощью закаленных постеров ), но меня это здесь не интересует.

Подход, о котором я думаю, состоит в аппроксимации базового распределения параметрической (или непараметрической) формой , а затем в определении задачи нормализации как одномерной задачи оптимизации (т. которая минимизирует некоторую ошибку между и , вычислено по образцам). В простейшем случае, предположим, что апостериор является грубо многомерной нормалью, я могу подогнать как многовариантную нормаль и получить что-то похожее на приближение Лапласа (возможно, я хотел бы использовать несколько дополнительных функций для уточнения положения режим). Тем не менее, я мог бы использовать как$g(\theta)$$Z$$Z$$Z g(\theta)$$f(\textbf{x}|\theta) f(\theta)$$g(\theta)$$g(\theta)$более гибкое семейство, такое как вариационная смесь многомерных распределений.$t$

Я ценю, что этот метод работает, только если - разумное приближение к , но любая причина или предостерегающий рассказ о том, почему было бы очень неразумно сделай это? Любое чтение, которое вы бы порекомендовали?$Z g(\theta)$$f(\textbf{x}|\theta) f(\theta)$

В полностью непараметрическом подходе используется некоторое непараметрическое семейство, такое как гауссовский процесс (GP), для аппроксимации (или некоторого другого его нелинейного преобразования, такого как как квадратный корень), и байесовская квадратура для неявной интеграции по основной цели (см. здесь и здесь ). Это представляется интересным альтернативным подходом, но аналогичным по духу (также обратите внимание, что в моем случае ВОП были бы громоздкими).$\log f(\textbf{x}|\theta) + \log f(\theta)$

К сожалению, расширение, выполненное Chib and Jeliazkov (2001), быстро становится дорогостоящим или сильно изменчивым, что является причиной, по которой его не так часто используют за пределами выборок Гиббса.

Несмотря на то, что существует множество способов и подходов к проблеме оценки константы нормализации (как показывают довольно разнообразные доклады на семинаре по оценке константы, который мы провели на прошлой неделе в Университете Уорика, слайды доступны там ), некоторые решения действительно используют непосредственно вывод MCMC.$\mathfrak{Z}$

1. Как вы упомянули, средняя оценка по гармоникам Ньютона и Рафтери (1994) почти всегда плоха из-за бесконечной дисперсии. Однако есть способы избежать проклятия бесконечной дисперсии, используя вместо этого конечную опорную цель в среднем гармоническом тождестве , выбрав в качестве индикатора области HPD для апостериорного. Это обеспечивает конечную дисперсию, удаляя хвосты в среднем по гармонике. (Подробности можно найти в статье, которую я написал с Дарреном Рейтом, и в главе о нормализации констант, написанной Жан-Мишелем Марином.) Короче говоря, метод вывод MCMC & alphathetas1,...,thetasМ& betaл(thetas)F(х|thetas)& alphathetas ; 0 я ρZ Z -1=

   $$\int \dfrac{\alpha(\theta)}{\pi(\theta)f(x|\theta)}\text{d}\pi(\theta|x)=\frac{1}{\mathfrak{Z}}$$ $\alpha$$\theta_1,\ldots,\theta_M$путем определения (скажем, 20%) наибольших значений цели и создания как униформы по объединению шаров, центрированных в этих симуляциях с наибольшей плотностью (HPD) и с радиусом , что означает оценку нормализующей константы : $\beta$$\pi(\theta)f(x|\theta)$$\alpha$$\theta^0_i$$\rho$$\mathfrak{Z}$ dθραM2βM2 $$\hat{\mathfrak{Z}}^{-1}=\underbrace{\frac{1}{\beta M^2}\sum_{m=1}^M}_{\text{double sum over}\\\beta M\text{ ball centres }\theta_i^0\\\text{and $M$ simulations } \theta_m} \underbrace{\mathbb{I}_{(0,\rho)}(\min_i||\theta_m-\theta^0_i||)\{\pi(\theta_m)f(x|\theta_m)\}^{-1}\big/\overbrace{\pi^{d/2}\rho^d\Gamma(d/2+1)^{-1}}^{\text{volume of ball with radius $\rho$}}}_{\dfrac{\beta M\alpha(\theta_m)}{\pi(\theta_m)f(x|\theta_m)}}$$ если - это размерность (поправки применяются для пересекающихся шаров) и если достаточно мало, чтобы шары никогда не пересекались (это означает, что в лучшем случае только один индикатор на шары отличны от нуля). Объяснение знаменателя состоит в том, что это двойная сумма$d$$\theta$$\rho$$\alpha M^2$$\beta M^2$ условия: с каждым членом в интегрирующимся в . θmZ- $$\frac{1}{\beta M}\sum_{i=1}^{\beta M} \underbrace{\frac{1}{M}\sum_{m=1}^M {\cal U}(\theta_i^0,\rho)(\theta_m)}_{\text{same as with $\min$}} \times \frac{1}{\pi(\theta_m)f(x|\theta_m)}$$ $\theta_m$${\mathfrak{Z}}^{-1}$

2. Другой подход - превратить нормализующую константу в параметр. Это звучит как статистическая ересь, но статья Guttmann and Hyvärinen (2012) убедила меня в обратном. Не вдаваясь в подробности, идеальная идея заключается в том, чтобы превратить наблюдаемое логарифмическое правдоподобие в совместное логарифмическое правдоподобие - логарифмическая вероятность пуассоновского точечного процесса с функцией интенсивности $\mathfrak{Z}$ n ∑ i = 1 [f(xi|θ)+ν]-n∫exp[f(x)|θ)+ν]dxexp

   $$\sum_{i=1}^n f(x_i|\theta) - n \log \int \exp f(x|\theta) \text{d}x$$ $$\sum_{i=1}^n[f(x_i|\theta)+\nu]-n\int\exp[f(x|\theta)+\nu]\text{d}x$$ $$\exp\{ f(x|\theta) + \nu +\log n\}$$ Это альтернативная модель в том смысле, что первоначальная вероятность не является предельной из вышеперечисленных. Только моды совпадают, причем условная мода в ν обеспечивает нормирующую постоянную. На практике вышеупомянутая вероятность пуассоновского процесса недоступна, и Guttmann and Hyvärinen (2012) предлагают приближение посредством логистической регрессии. Чтобы еще лучше связать ваш вопрос, оценка Гейера представляет собой MLE, следовательно, решение проблемы максимизации.
3. Связанный подход - это подход логистической регрессии Чарли Гейера . Фундаментальная идея состоит в том, чтобы добавить к образцу MCMC из другой образец из известной цели, например, ваше лучшее предположение в , , и выполнить логистическая регрессия по индексу распределения за данными (1 для и 0 для ). С регрессорами, являющимися значениями обеих плотностей, нормированными или нет. Это напрямую связано с мостовой выборкой Гельмана и Менга (1997), которая также перерабатывает образцы из разных целей. И более поздние версии, как MLE Мэн.π ( θ | x ) g ( θ ) π ( θ | x ) g ( θ $\pi(\theta|x)$$\pi(\theta|x)$$g(\theta)$$\pi(\theta|x)$$g(\theta)$
4. Другой подход, который заставляет запускать конкретный сэмплер MCMC - это вложенный сэмплинг Skilling . Хотя у меня [и других] есть некоторые оговорки относительно эффективности метода, он довольно популярен в астростатистике и космологии, с программным обеспечением, доступным как multinest .
5. Последнее [потенциальное, если не всегда возможное] решение состоит в том, чтобы использовать представление Сэвиджа-Дики Байесовского фактора в случае встроенной нулевой гипотезы. Если значение NULL записывается как об интересующем параметре, и если - это оставшаяся [неприятная] часть параметра модели, предполагая априор в форме , байесовский фактор против альтернативы записывается как где обозначает предельную апостериорную плотность при конкретном значении$H_0: \theta=\theta_0$$\xi$$\pi_1(\theta)\pi_2(\xi)$$H_0$ | θ,ξ)π1(θ)π2(ξ)dθd $$\mathfrak{B}_{01}(x)=\dfrac{\pi^\theta(\theta_0|x)}{\pi_1(\theta_0)}$$ $\pi^\theta(\theta_0|x)$$\theta$$\theta_0$, Если предельная плотность при доступна в В закрытой форме можно получить предельную плотность для неограниченной модели из байесовского фактора. (Это представление Сэвиджа-Дики опирается на конкретные версии трех разных плотностей и поэтому чревато опасностью, даже не упоминая вычислительную проблему создания маргинального апостериорного.)$H_0: \theta=\theta_0$ $$m_0(x)=\int_\Xi f(x|\theta_0,\xi)\pi_2(\xi)\text{d}\xi$$ $$m_a(x)=\int_{\Theta\times\Xi} f(x|\theta,\xi)\pi_1(\theta)\pi_2(\xi)\text{d}\theta\text{d}\xi$$

[Вот набор слайдов, которые я написал об оценке нормализующих констант для семинара NIPS в декабре прошлого года.]