Почему желательно иметь низкую автокорреляцию в MCMC?

11

Я продолжаю читать о необходимости проверки автокорреляции в MCMC. Почему важно, чтобы автокорреляция была низкой? Что это измеряет в контексте MCMC?

sampling autocorrelation mcmc

— Амелио Васкес-Рейна
источник

3

Фактически, если бы можно было получить высокую отрицательную автокорреляцию в пробоотборнике MCMC, этот пробоотборник улучшил бы при взятии проб iid. Это, однако, очень редкое явление ...

— Сиань

4

Автокорреляция - это мера того, насколько значение сигнала соотносится с другими значениями этого сигнала в разные моменты времени. В контексте MCMC автокорреляция является мерой того, насколько независимы разные выборки от вашего апостериорного распределения - более низкая автокорреляция указывает на более независимые результаты.

Когда у вас высокая автокорреляция, отобранные вами образцы не точно представляют апостериорное распределение и, следовательно, не дают столь значимой информации для решения проблемы. Другими словами, более низкая автокорреляция означает более высокую эффективность в ваших цепях и лучшие оценки. Общее правило состоит в том, что чем ниже ваша автокорреляция, тем меньше выборок необходимо для того, чтобы метод был эффективным (но это может быть слишком упрощенным).

— Генри Хаммонд
источник

У меня нет большого опыта работы с MCMC, но ваше последнее предложение не выглядит слишком упрощенным. Если вы посмотрите на влияние автокорреляций на ваши оценки ошибок, они изменят значение с на где - время автокорреляции, измеренное на тех же самых наблюдаемыхТаким образом , это как иметь только «эффективного измерения» вместо . Есть ли еще какое-то упрощение в этом утверждении?

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

— Обучение беспорядок

10

Во-первых, и наиболее очевидно, что если автокорреляция высока, то N выборок не дают вам N фрагментов информации о вашем распределении, но меньше, чем эта. Эффективный размер выборки (ESS) является одним из показателей того, сколько информации вы действительно получаете (и является функцией параметра автокорреляции).

Кроме того, автокорреляция дает вам непредставительные образцы «в краткосрочной перспективе». Более того, чем больше автокорреляция, тем дольше этот «короткий пробег». Для очень сильной автокорреляции короткая пробежка может быть хорошей частью ваших общих выборок. Обычные прямые меры - это повторная параметризация или параметры выборки, которые, как вы ожидаете, будут взаимно коррелироваться в блоках, а не по отдельности, поскольку в противном случае они будут генерировать автокорреляцию в цепочке. Люди часто также «худые», хотя есть некоторая дискуссия о том, насколько это полезно для решения основной проблемы, например, здесь . Kass 1997 - это неформальное обсуждение проблем, хотя, возможно, есть что-то более новое, что другие могут порекомендовать.

Короче говоря, для сильно автокоррелированной цепочки требуется больше времени, чтобы перейти от ее начальных условий к нужному целевому распределению, при этом она менее информативна и требует больше времени для изучения этого распределения, когда оно туда попадает.

— conjugateprior
источник