Как вы видите, цепь Маркова неприводима?

У меня есть некоторые проблемы с пониманием неприводимого свойства цепочки Маркова .

Говорят, что неприводимое означает, что случайный процесс может «перейти из любого состояния в любое состояние».

Но что определяет, может ли он перейти из состояния в состояние или не может перейти?$i$$j$

---

Страница википедии дает формализацию:

Государство является доступным (написано ) из состояния , если существует целое число - й i → j i n i j > 0 P ( X n i j = j | X 0 = i ) = p ( n i j ) i j > $j$$i\rightarrow j$$i$$n_{ij}>0$

$$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$$

тогда общение происходит, если и .j → $i\rightarrow j$$j \rightarrow i$

Из этой неприводимости следует как-то.

Вот три примера для матриц перехода, первые два для приводимого случая, последний для неприводимого.

ДляP1, когда вы находитесь в состоянии 3 или 4, вы останетесь там, и то же самое для состояний 1 и 2. Это невозможно. например, перейти из состояния 1 в состояние 3 или 4.

$$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$$ $P_1$

Для вы можете перейти в любое состояние из состояний 1–3, но как только вы окажетесь в состоянии 4, вы останетесь там. P 3 = ( 0,5 0,5 0 0 0 0 0,9 0 0 0 0 0,1 0 0 0 0,8 0 0,2 0,7 0 0,1 0 0,2 0 0 0 0 0,1 0,9 0 0,9 0 0 0 0,1 0$P_2$

$$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$$ В этом примере вы можете начать в любом состоянии и по-прежнему достигать любого другого состояния, хотя не обязательно за один шаг.

$j$$i$$i \to j$$n\geq 0$

$$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$$ $i$$j$$n$$p^n_{ij}$

$i\to j$$j\to i$$i$$j$$i\leftrightarrow j$

$i$$j$$i$$j$$\cdots$$j$$i$

$i\rightarrow j$$j$$i$$m>0$$p_{ij}^{(m)}>0$

$j\rightarrow i$$n>0$$p_{ji}^{(n)}>0$

$i\rightarrow j$$j\rightarrow i$$i$$j$$i \leftrightarrow j$$m>0,\;\; n>0$$p_{ij}^{(m)}>0$$p_{ji}^{(n)}>0$

Если все состояния в цепи Маркова принадлежат одному замкнутому коммуникативному классу , то цепь называется неприводимой цепью Маркова . Неприводимость - это свойство цепи.

В неприводимой цепи Маркова процесс может переходить из любого состояния в любое состояние , независимо от того, сколько шагов ему требуется.

Некоторые из существующих ответов кажутся мне неправильными.

Как цитируется в « Стохастических процессах » Дж. Медхи (стр. 79, издание 4), цепь Маркова неприводима, если она не содержит какого-либо надлежащего «замкнутого» подмножества, кроме пространства состояний.

Таким образом, если в вашей матрице вероятности перехода есть подмножество состояний, таких, что вы не можете «достичь» (или получить доступ) к любым другим состояниям, кроме этих состояний, то цепь Маркова сводима. В противном случае цепь Маркова неприводима.

Сначала предупреждающее слово: никогда не смотрите на матрицу, если у вас нет серьезных оснований для этого: единственное, о чем я могу подумать, - это проверка ошибочно набранных цифр или чтение в учебнике.

$P$$\exp(P)$$P$$P^n$$n$

Неприводимость означает: вы можете перейти из любого состояния в любое другое состояние за конечное число шагов.

$P_3$