Алгоритмы Метрополис-Гастингс, используемые на практике

20

Сегодня я читал блог Кристиана Роберта, и мне очень понравился новый алгоритм Метрополиса-Гастингса, который он обсуждал. Это казалось простым и легким в реализации.

Всякий раз, когда я кодирую MCMC, я склонен придерживаться очень простых алгоритмов MH, таких как независимые движения или случайные обходы в логарифмическом масштабе.

Какие алгоритмы MH люди обычно используют? Особенно:

Почему вы их используете?
В каком-то смысле вы должны думать, что они оптимальны - ведь вы используете их регулярно! Итак, как вы оцениваете оптимальность: простота кодирования, конвергенция, ...

Меня особенно интересует то, что используется на практике, то есть когда вы кодируете свои собственные схемы.

mcmc metropolis-hastings

— csgillespie
источник

Может быть, CW? Вопрос кажется опросом того, что люди используют. Как бы вы определили «лучший» ответ? Я признаю, что немного смутно, когда применяю CW. Так что не стесняйтесь игнорировать этот комментарий, если вы чувствуете иначе.

1

Я не против оставить это как не-CW, особенно если Колин может немного перефразировать это, чтобы учесть возможность одного лучшего ответа. Тем не менее, я не могу себе представить, как это сделать ...

— Шейн

Я пытался изменить вопрос, чтобы сделать его менее CW - не уверен, что мне это удалось :( @Shane @Srikant, если вы все еще думаете, что это должен быть CW, смело меняйте его.

— csgillespie

Это звучит так, как будто это хороший обзорный документ!

— Шон

2

Гибрид Монте-Карло - это стандартный алгоритм, используемый для нейронных сетей. Выборка Гиббса для классификации гауссовских процессов (когда вместо этого не используется детерминированное приближение).

— Дикран Сумчатый
источник

2

Выборка MH используется, когда трудно выбрать из целевого распределения (например, когда предшествующее не сопряжено с вероятностью). Таким образом, вы используете распределение предложений для генерации выборок и принятия / отклонения их в зависимости от вероятности принятия. Выборки Гиббса алгоритм является частным случаем MH , где эти предложения всегда принимаются. Выборка Гиббса является одним из наиболее часто используемых алгоритмов из-за его простоты, но его не всегда возможно применить, и в этом случае прибегают к МЗ на основе предложений принять / отклонить.

— ebony1
источник

1

В физике, в частности в статистической физике, широко используются алгоритмы типа Метрополиса. Вариантов действительно много, и новые активно развиваются. Это слишком широкая тема, чтобы дать здесь какое-либо расширение, поэтому, если вам интересно, вы можете начать, например, с этих лекционных заметок или с веб-страницы библиотеки ALPS (http://alps.comp-phys.org/mediawiki).

— эв-уш
источник

Я понимаю, что существует бесчисленное множество вариантов этого алгоритма. Что меня интересовало, так это то, какие люди обычно используют.

— csgillespie

1

Я использую сэмплер срезов - первоначально предложенный Neal (2003), который я настраиваю с помощью эвристической оптимизации.

— М. Тиббитс
источник