В чем разница между «ограничивающим» и «стационарным» распределением?

Я делаю вопрос о цепях Маркова, и последние две части говорят это:

• Обладает ли эта цепь Маркова предельным распределением. Если ваш ответ «да», найдите ограничивающее распределение. Если ваш ответ «нет», объясните почему.
• Обладает ли эта цепь Маркова стационарным распределением. Если ваш ответ «да», найдите стационарное распределение. Если ваш ответ «нет», объясните почему.

В чем разница? Ранее я думал, что предельное распределение было, когда вы работали с использованием $P = CA^n C^{-1}$ но это матрица перехода $n$ -го шага. Они рассчитали предельное распределение, используя $\Pi = \Pi P$ , который, как я думал, был стационарным.

Что есть что тогда?

От введения к стохастическому моделированию Пински и Карлин (2011):

π = (

$$\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$$ ($\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ $$\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$$

В предыдущем разделе, они уже определили « предельное распределение вероятностей » по$\pi$

$$\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$$

и эквивалентно

$$\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$$ (p. 165).

Приведенный выше пример колеблется детерминистически и поэтому не может иметь ограничение так же, как последовательность не имеет ограничения.$\{1,0,1,0,1,\dots\}$

---

Они утверждают, что регулярная цепь Маркова (в которой все вероятности n-шагового перехода положительны) всегда имеют предельное распределение, и доказывают, что это должно быть единственным неотрицательным решением

$$\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$$ (стр. 168 )

Затем на той же странице, что и в примере, они пишут

Любое множество удовлетворяющее (4.27), называется стационарным распределением вероятностей цепи Маркова. Термин «стационарный» происходит от того свойства, что цепь Маркова, начатая в соответствии со стационарным распределением, будет следовать этому распределению во все моменты времени. Формально, если , то для всех . Pr { X 0 = i } = π i Pr { X n = i } $(\pi_i)_{i=0}^{\infty}$$\operatorname{Pr}\{X_0=i\}=\pi_i$ n = 1 , 2 , $\operatorname{Pr}\{X_n=i\}=\pi_i$$n=1,2,\dots$

где (4.27) - система уравнений

$$\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$$

что является точно таким же условием стационарности, как и выше, за исключением теперь с бесконечным числом состояний.

С этим определением стационарности утверждение на стр. 168 можно задним числом переформулировать как:

1. Предельное распределение регулярной цепи Маркова является стационарным распределением.
2. Если предельное распределение цепи Маркова является стационарным, то стационарное распределение является единственным.

Стационарное распределение - это такое распределение что если распределение по состояниям на шаге равно , то также распределение по состояниям на шаге равно . Таким образом, Предельное распределение - это такое распределение что независимо от того, что является начальным распределением, распределение по состояниям сходится к как числу шаги идут в бесконечность: независимо отк л к + 1 л л = л Р . π π lim k → ∞ π ( 0 ) P k = π , π ( 0 $\pi$$k$$\pi$$k+1$$\pi$

$$\begin{equation} \pi = \pi P. \end{equation}$$ $\pi$$\pi$ $$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$$ $\pi^{(0)}$, Например, давайте рассмотрим цепь Маркова, два состояния которой являются сторонами монеты, . Каждый шаг состоит в переворачивании монеты вверх ногами (с вероятностью 1). Обратите внимание, что когда мы вычисляем распределения состояний, они не зависят от предыдущих шагов, то есть парень, который вычисляет вероятности, не видит монету. Таким образом, матрица перехода имеет вид: Если мы сначала инициализируем монету путем ее случайного перелистывания ( ), то также все последующие временные шаги следуют за этим распределением. (Если вы подбросите честную монету, а затем перевернете ее, вероятность головок все равно будет ). Таким образом,Р = ( 0 1 1 0 ) . π ( 0 ) = ( 0,5 0,5 ) 0,5 ( 0,5 0,5$\{heads, tails\}$ $$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$$ $\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$$0.5$$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ является стационарным распределением для этой цепи Маркова.

Однако эта цепочка не имеет ограничивающего распределения: предположим, мы инициализируем монету так, чтобы она была головой с вероятностью . Затем, так как все последующие состояния определяются начальным состоянием, после четного числа шагов состояние достигает уровня с вероятностью а после нечетного числа шагов состояние достигает уровня с вероятностью . Это выполняется независимо от того, сколько шагов предпринято, поэтому распределение по штатам не имеет границ.2 / 3 1 /$2/3$$2/3$$1/3$

Теперь давайте изменим процесс так, чтобы на каждом этапе не обязательно поворачивать монету. Вместо этого бросают кубик, и если результат равен , монета остается без изменений. Эта цепь Маркова имеет переходную матрицу Не переходя к математике, я укажу, что этот процесс «забудет» начальное состояние из-за случайного пропуска хода. После огромного количества шагов вероятность появления головок будет близка к , даже если мы знаем, как была инициализирована монета. Таким образом, эта цепочка имеет предельное распределение .Р = ( 1 / 6 5 / 6 5 / 6 1 / 6 ) . 0,5 ( 0,5 0,5$6$

$$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$$ $0.5$$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

Отложив обозначение, слово «стационарный» означает «как только вы попадете туда, вы останетесь там»; в то время как слово «ограничение» подразумевает «вы в конечном итоге доберетесь, если зайдете достаточно далеко». Просто подумал, что это может быть полезно.