Во-первых, позвольте мне отметить [несколько педантично], что
Существует несколько различных типов алгоритмов MCMC: Metropolis-Hastings, Gibbs, выборка важности / отклонения (связанная).
методы выборки важности и отклонения не являются алгоритмами MCMC, поскольку они не основаны на цепях Маркова. На самом деле, выборки значение не производит выборку из целевого распределения, говорят, но только веса важности голоса, которые будут использоваться в Монте - Карло аппроксимации интегралов , связанных с . Использование этих весов в качестве вероятностей для получения выборки не приводит к правильной выборке из , хотя могут быть получены объективные оценки ожиданий при .еωеее
Во-вторых, вопрос
Зачем кому-то брать сэмплы Гиббса, а не Метрополис-Гастингс? Я подозреваю, что есть случаи, когда умозаключение Гиббса более поддается выводу, чем с Метрополис-Гастингс
не имеет ответа в том, что сэмплер Metropolis-Hastings может быть почти любым, включая сэмплер Gibbs. Я довольно подробно ответил на более ранний и похожий вопрос. Но позвольте мне добавить несколько лишних пунктов:
Основной причиной, по которой была введена выборка Гиббса, было разрушение проклятия размерности (которое влияет как на выборку отклонения, так и на выборку важности) путем создания последовательности симуляций низкого измерения, которые все еще сходятся к правильной цели. Даже если размер цели влияет на скорость сходимости. Пробоотборники Metropolis-Hastings предназначены для создания цепочки Маркова (например, выборки Гиббса) на основе предложения (например, выборки по важности и отклонению) путем корректировки неправильной плотности на этапе принятия отклонения. Но важным моментом является то, что они не противостоят: а именно, для выборки Гиббса могут потребоваться шаги Метрополиса-Гастингса, когда они сталкиваются со сложными условными объектами низкой размерности, в то время как предложения Метрополиса-Гастингса могут быть построены на приближениях к полному условию (Гиббса). В формальном определении Выборка Гиббса является частным случаем алгоритма Метрополиса-Гастинга с вероятностью его принятия. (Кстати, я возражаю против использованиявывод в этой цитате, так как я бы оставил ее для статистических целей, в то время как эти пробоотборники являются числовыми устройствами.)
Обычно выборка Гиббса [понимается как выполнение последовательности низкоразмерных условных симуляций] предпочтительна в ситуациях, когда разложение на такие условные обозначения легко осуществить и быстро запустить. В условиях, когда такие декомпозиции вызывают многомодальность и, следовательно, затрудняют переход между режимами (вспоминаются модели скрытых переменных, такие как модели смешивания), использование более глобального предложения в алгоритме Метрополиса-Хастинга может привести к более высокой эффективности. Но недостаток заключается в выборе распределения предложений в алгоритме Метрополиса-Хастинга.