Что такое цепи Маркова?

В настоящее время я читаю некоторые статьи о комковании цепей Маркова и не вижу разницы между цепью Маркова и простым ориентированным взвешенным графом.

Например, в статье « Оптимальное сосредоточение в пространстве состояний в цепях Маркова» они дают следующее определение CTMC (непрерывной цепи Маркова):

Рассмотрим конечный CTMC с пространством состояний S = { x 1 , x 2 , … , x n } матрицей переходных скоростей Q : S × S → R + .$(\mathcal{S}, Q)$$\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$$Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$

Они вообще не упоминают свойство Маркова, и, на самом деле, если вес на ребрах представляет вероятность, я считаю, что свойство Маркова тривиально выполняется, поскольку вероятность зависит только от текущего состояния цепи, а не от пути, который ведет к этому.

В другой статье « О реляционных свойствах единственности марковские цепи» определяются аналогично

Марковская цепь будет представлена ​​в виде триплета ( S , P , π ), где S - конечный набор состояний M , P - матрица вероятностей перехода, указывающая вероятность перехода из одного состояния в другое, а π - начальная вероятность. распределение, представляющее вероятность запуска системы в определенном состоянии.$M$$(S, P, \pi)$$S$$M$$P$$\pi$

Опять же, нет упоминания о прошлом или будущем или независимости.

Есть третья статья Простая O (m logn) Цепочка Маркова Времени, где они не только никогда не утверждают, что веса на ребрах являются вероятностями, но даже говорят:

Во многих приложениях значения неотрицательны. Мы не делаем это предположение, однако, потому что есть также приложения , где W ( s , S ) намеренно выбран - W ( S , S ∖ { s } ) , что делает его , как правило , отрицательный.$W(s, s')$$W(s, s)$$-W(s, S \setminus \{s\})$

Более того, заявлено, что сосредоточение должно быть способом уменьшения количества состояний при сохранении свойства Маркова (путем объединения «эквивалентного» состояния в большее состояние). Тем не менее, мне кажется, что это просто суммирование вероятностей, и оно даже не должно гарантировать, что результирующие возможности переходов в / из агрегированных состояний находятся в диапазоне . Что же на самом деле сохраняет шишка?$[0,1]$

Итак, я вижу две возможности:

• Я не понял, что такое цепь Маркова, или
• Использование термина цепь Маркова в этих работах является поддельным

Может ли кто-то прояснить ситуацию?

Похоже, что есть разные сообщества, использующие этот термин, и они имеют в виду совершенно разные вещи. Из этих трех статей, которые я рассматриваю, похоже, что свойство Маркова либо тривиально, либо бесполезно, а при взгляде на другой вид статей оно выглядит фундаментально.

$N$$N \times N$

Но первая статья определяет обозначение, согласующееся с цепью Маркова с непрерывным временем , иногда называемой марковским процессом , в то время как вторая статья определяет обозначение, согласованное с цепью Маркова с дискретным временем . Они говорят

$P$$\pi$

$[0,1]$$P$$1$$\pi$$1$

Я не могу прочитать третий документ, он расплатился. Если записи в каждом столбце матрицы должны быть суммированы с 1, то они являются вероятностями и говорят о цепях Маркова с дискретным временем. Если записи в каждом столбце могут суммироваться с произвольным числом, то записи представляют собой скорости, а не вероятности, и они говорят о цепях Маркова с непрерывным временем.

$1$

В марковских цепях как с непрерывным, так и с дискретным временем свойство Маркова подразумевается постоянными весами ребер (или, что то же самое, постоянными записями в матрице переходов).

Цепи Маркова бывают двух видов: непрерывное и дискретное.

Цепи Маркова с непрерывным временем (CTMC) и цепочки Марка с дискретным временем (DTMC) представлены в виде ориентированных взвешенных графов.

Для DTMC переходы всегда занимают одну единицу времени. В результате нет никакого выбора для того, каким должен быть ваш вес на дуге - вы устанавливаете вероятность перехода в «j», учитывая, что вы находитесь в «i».

Для CTMC время перехода между любыми двумя состояниями обязательно задается экспоненциальной случайной величиной. В этом ключевое отличие CTMC от DTMC: у DTMC всегда есть время перехода единиц. CTMC имеют случайное время перехода.

Для CTMC обычно принято ставить веса на дугу в соответствии со скоростью экспоненциальной случайной величины, идущей от источника к месту назначения. То есть соглашение состоит в том, чтобы ставить дуги по ставкам , а не по вероятностям.

Отрицательные цены

Хотя все CTMC, которые я помню, были представлены с положительными показателями по краям, отрицательные показатели все же встречаются в анализе CTMC.

Скажем, мы находимся в состоянии A, которое связано с B, C и D, как показано ниже.

A -> B (ставка в A из B отрицательна) A -> C (скорость в A из C отрицательна) D -> A (ставка в A из D положительна)

Это, вероятно, не совсем то, на что ссылается ваша статья; Я поднимаю это, чтобы показать, что отрицательные веса не обязательно смешны, если кто-то работал с подходящим соглашением.

Марков Имущество

Для DTMC - ты прав. Свойство Маркова выполняется тривиально. Для CTMC свойство markov выполняется, потому что переходы задаются экспоненциальными случайными величинами (которые не имеют памяти). Если бы переходы не задавались экспоненциальными случайными величинами (скажем, они были однородными), то мы бы говорили о «полумарковских цепях» или «полумарковских процессах».