Методы MCMC - сжигание образцов?

12

В методах MCMC я продолжаю читать о burn-inвремени или количестве образцов до "burn". Что это такое и зачем это нужно?

Обновить:

Как только MCMC стабилизируется, останется ли он стабильным? Как понятие burn-inвремени связано с понятием времени смешивания?

sampling mcmc

— Амелио Васкес-Рейна
источник

1

Фраза « прожиг » не подразумевает «прожиг» образцов, но позволяет системе удовлетворительно перейти из своего «нового» состояния в такое, где она пригодна для использования. (Образцы отбрасываются во время заселения, да, но фраза не подразумевает «горит» в этом смысле. Это ближе к «прогреву двигателя», прежде чем брать его в дорогу.) См. Этот ответ для некоторого обсуждения для чего это.

— Glen_b

(В частности, первый абзац этого ответа)

— Glen_b

1

@Glen_b, я думаю, что я знал это, но мне действительно нравятся мысленные образы сомнительных образцов, поднимающихся в дыму лучше ...

— Мэтт Краузе

17

$n$

Идея состоит в том, что «плохая» отправная точка может перевыбирать области, которые на самом деле имеют очень низкую вероятность при равновесном распределении, прежде чем оно установится в равновесном распределении. Если вы отбросите эти очки, то очки, которые должны быть маловероятными, будут достаточно редкими.

Эта страница дает хороший пример, но также указывает на то, что выгрузка - это скорее хак / артформ, чем принципиальная техника. Теоретически, вы можете просто пробовать в течение очень долгого времени или найти способ выбрать достойную отправную точку.

Изменить: время смешивания относится к тому, сколько времени требуется цепочке, чтобы приблизиться к ее устойчивому состоянию, но часто трудно рассчитать напрямую. Если бы вы знали время смешивания, вы бы просто отбросили столько сэмплов, но во многих случаях этого не сделали. Таким образом, вы выбираете время выгорания, которое, мы надеемся, будет достаточно большим.

Что касается стабильности - это зависит. Если ваша цепь сошлась, то ... она сошлась. Однако существуют также ситуации, когда цепочка, по- видимому , сходилась, но на самом деле просто «зависает» в одной части пространства состояний. Например, представьте, что есть несколько режимов, но каждый режим плохо связан с другими. Пробоотборнику может понадобиться очень много времени, чтобы пройти через этот промежуток, и он будет выглядеть так, как будто цепочка сходится, пока не совершит этот скачок.

Есть диагностика конвергенции, но многим из них трудно отличить истинную конвергенцию от псевдоконвергенции. Глава Чарльза Гейера (# 1) в « Руководстве цепи Маркова» Монте-Карло довольно пессимистично относится ко всему, но работает по цепочке так долго, как вы можете.

— Мэтт Краузе
источник

Спасибо. Я добавил небольшое обновление в ОП с надеждой прояснить концепцию дальше.

— Амелио Васкес-Рейна

Я добавил немного больше; надеюсь, это поможет.

— Мэтт Краузе

6

Алгоритм Метрополиса-Гастингса случайным образом выбирает из апостериорного распределения. Как правило, исходные выборки не полностью действительны, потому что цепь Маркова не стабилизировалась к стационарному распределению. Ожог в образцах позволяет отбросить эти исходные образцы, которых еще нет на стационарных.

— Эрик Петерсон
источник

1

Спасибо - Как только цепь Маркова стабилизируется, она останется стабильной? Как это связано с понятием времени смешивания? Это то же самое?

— Амелио Васкес-Рейна