Почему избыточное среднее значение параметризации ускоряет Гиббс MCMC?

В книге Gelman & Hill (2007) (Анализ данных с использованием регрессионных и многоуровневых / иерархических моделей) авторы утверждают, что включение избыточных средних параметров может помочь ускорить MCMC.

Данный пример - это не вложенная модель "симулятора полета" (уравнение 13.9):

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

Они рекомендуют репараметризацию, добавив средние параметры и следующим образом: $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

Единственное оправдание заключается в том, что (стр. 420):

Моделирование может застрять в конфигурации, где весь вектор (или ) далек от нуля (даже если им назначено распределение со средним 0). В конечном счете, симуляции будут сходиться к правильному распределению, но мы не хотим ждать. $\gamma$ $\delta$

Как избыточные средние параметры помогают с этой проблемой?

Мне кажется, что модель без вложенности является медленной в основном из-за того, что и имеют отрицательную корреляцию. (Действительно, если один повышается, другой должен понижаться, учитывая, что их сумма «фиксирована» данными). Помогают ли избыточные средние параметры уменьшить корреляцию между и или чем-то еще полностью? $\gamma$ $\delta$ $\gamma$ $\delta$

mcmc hierarchical-bayesian gibbs

— Гейзенберг
источник

Вы ищете интуитивное понимание этой конкретной проблемы (например, корреляция - или корреляции - и - ), или вы ищете интуитивное понимание общей проблемы ( т.е. понятие иерархического центрирования)? В последнем случае вы хотели бы, чтобы интуиция была близка к доказательству или интуиции, которая гораздо более свободна и более или менее показывает, как она работает?

γ

$\gamma$

δ

$\delta$

γ

$\gamma$

μ

$\mu$

δ

$\delta$

μ

$\mu$

— Секст Эмпирик

Я хотел бы получить интуитивное представление о концепции иерархического центрирования в целом (поскольку конкретный случай в этом вопросе напрямую связан с применением иерархического центрирования). Ключевой момент, который я хочу понять, заключается в следующем: почему иерархическое центрирование работает, если дисперсия на уровне группы является значительной частью общей дисперсии ? Бумага Gelfand et al. доказывает это математически (т.е. выводит корреляцию и находит ее ограничивающее поведение), но без какого-либо интуитивного объяснения.

— Гейзенберг

Следует избегать корреляции между и и . $\mu$ $\gamma_j$ $\delta_k$

При замене и в вычислительной модели альтернативными параметрами, вокруг корреляция уменьшается. $\gamma_j$ $\delta_k$ $\mu$

См. Очень четкое описание в разделе 25.1 «Что такое иерархическое центрирование?» в (свободно доступной) книге Уильяма Дж. Брауна «Оценка MCMC в MLwiN» и других. http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

— Секст Эмпирик
источник

Раздел 25.1 «Оценки MCMC MlwiN» действительно описывает эту технику «иерархического центрирования», но не углубляется в какие-либо подробности, кроме заявления о том, что она работает. Перелистывая ссылки, я обнаружил, что фактическое доказательство этой методики представлено в статье « Эффективные параметризации для нормальных линейных смешанных моделей » Гельфанда и др., Biometrika vol 82, выпуск 3.

— Гейзенберг,

Статья выше, в свою очередь, использует свойства нормального распределения без объяснения. Я нашел доказательства этих свойств в сопряженном байесовском анализе гауссовского распределения Кевина Мерфи.

— Гейзенберг

К сожалению, я до сих пор не видел интуитивно понятного объяснения того, почему этот метод работает.

— Гейзенберг

Уже поздно, но я думаю, что этот документ может быть тем, что вы ищете

— baruuum