Гамильтониан монте карло

Может ли кто-нибудь объяснить основную идею гамильтоновых методов Монте-Карло и в каких случаях они дадут лучшие результаты, чем марковские цепочки методов Монте-Карло?

Я считаю, что наиболее актуальным источником гамильтониана Монте-Карло, его практического применения и сравнения с другими методами MCMC является обзорный документ Betancourt от 2017 года :

Конечной задачей при оценке вероятностных ожиданий является количественная оценка типичного набора распределения целей, набора, который концентрируется вблизи сложной поверхности в пространстве параметров. Гамильтониан Монте-Карло генерирует когерентное исследование плавных распределений целей, используя геометрию типичного набора. Это эффективное исследование дает не только лучшую вычислительную эффективность, чем другие алгоритмы Монте-Карло с цепью Маркова, но и более надежные гарантии на достоверность полученных оценок. Кроме того, тщательный анализ этой геометрии облегчает принципиальные стратегии для автоматического построения оптимальных реализаций метода, позволяя пользователям сосредоточить свои знания на создании более совершенных моделей вместо того, чтобы бороться с разочарованиями статистических вычислений. Как результат,Стэн (Stan Development Team, 2017).

Гамильтониан монте карло ( ГМК ), первоначально называемый Гибрид Монте-Карло, является формой цепочки Маркова Монте-Карло с импульсным слагаемым и поправками.

«Гамильтониан» относится к гамильтоновой механике.

Вариант использования стохастически (случайным образом) исследует большие измерения для численного интегрирования по вероятностному пространству.

Контраст с MCMC

Обычная / ванильная цепь Маркова Монте-Карло (MCMC) использует только последнее состояние для определения следующего состояния. Это означает, что вы с такой же вероятностью будете двигаться вперед, как и к тому месту, которое вы уже исследовали.

MCMC также, вероятно, дрейфует за пределами первичной области интереса в пространствах большого размера.

Это делает MCMC очень неэффективным для целей численного интегрирования в многомерном вероятностном пространстве.

Как HMC решает эти проблемы

Добавляя импульс, HMC делает исследование пространства вероятностей более эффективным, поскольку теперь вы с большей вероятностью будете продвигаться вперед с каждым шагом в вашем пространстве вероятностей.

HMC также использует поправки Metropolis-Hastings, чтобы гарантировать, что он остается и исследует регион с большей вероятностью.

При написании этого ответа я нашел эту презентацию на HMC весьма интересной.