Какая связь между цепью Маркова и цепью Маркова Монте-Карло

15

Я пытаюсь понять цепи Маркова, используя SAS. Я понимаю, что марковский процесс - это процесс, в котором будущее состояние зависит только от текущего состояния, а не от прошлого, и существует матрица перехода, которая фиксирует вероятность перехода из одного состояния в другое.

Но тут я наткнулся на этот термин: цепь Маркова Монте-Карло. Что я хочу знать, так это то, что Марковская цепь Монте-Карло так или иначе связана с марковским процессом, который я описал выше?

— Виктор
источник

9

Ну, да, между этими двумя терминами есть связь, потому что ничьи из MCMC образуют цепь Маркова. От Гельмана, Байесовский анализ данных (3-е изд), с. 265:

Моделирование цепей Маркова (также называемое цепью Маркова Монте-Карло или MCMC) - это общий метод, основанный на извлечении значений из соответствующих распределений и последующей коррекции этих рисунков для лучшей аппроксимации целевого апостериорного распределения . Выборка производится последовательно, с распределением выбранных тиражей в зависимости от последнего полученного значения; следовательно, ничьи формируют цепь Маркова. $\theta$ $p(\theta|y)$

— Sycorax говорит восстановить Монику
источник

Хм, хорошо, но зачем мне рисовать случайные выборки из марковского процесса, есть много других процессов, таких как нормальный, бернулли, опцион и т. Д.

— Виктор

2

@Victor Я думаю, вы потеряли из виду вариант использования MCMC. Мы используем MCMC в байесовской статистике, когда нет аналитической формы апостериорного распределения.

— Sycorax говорит восстановить Монику

3

+1 Байесовская статистика - это, пожалуй, самое очевидное применение MCMC (где распределение целей является последним совместным), но не единственно возможное.

— Glen_b

18

Связь между этими двумя понятиями заключается в том, что методы цепей Маркова Монте-Карло (также известные как MCMC) основаны на теории цепей Маркова для получения моделирования и приближений Монте-Карло из комплексного распределения цели . $\pi$

$X_1,\ldots,X_N$ $X_i$ $\{X_{i-1},\ldots,X_1\}$ $X_{i-1}$

X_{i} = f (X_{i - 1}, ϵ_{i})

$X_i=f(X_{i-1},\epsilon_i)$

f

$f$

π

$\pi$

ϵ_{i}

$\epsilon_i$

X_{i}

$X_i$

π

$\pi$

i

$i$

\infty

$\infty$

Простейшим примером алгоритма MCMC является сэмплер среза : на итерации i этого алгоритма выполните

$\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$ $\epsilon^2_i$

$\mathrm{N}(0,1)$

$\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$ $X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$ $\epsilon_i^2\sim\mathrm{U}(0,1)$

или в R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

$\mathrm{N}(0,1)$ $(X_i)$

$(X_i,\epsilon^1_i\pi(X_i))$

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

это следует за вертикальным и горизонтальным перемещением цепи Маркова под кривой целевой плотности.

— Сиань
источник