В чем разница между марковскими цепями и марковскими процессами?

16

Я читаю противоречивую информацию: иногда определение основано на том, является ли пространство состояний дискретным или непрерывным, а иногда - на том, является ли время дискретным или непрерывным.

Слайд 20 этого документа :

Марковский процесс называется цепью Маркова, если пространство состояний дискретно, т. Е. Является конечным, или счетное пространство дискретно, т. Е. Конечно или счетно.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Марковский процесс - это непрерывная версия цепочки Маркова.

Или можно использовать цепь Маркова и марковский процесс как синонимы, уточняя, является ли параметр времени непрерывным или дискретным, а также является ли пространство состояний непрерывным или дискретным.

Обновление 2017-03-04: тот же вопрос был задан на https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangebly

terminology stochastic-processes markov-process

— Франк Дернонкур
источник

1

По моему опыту, первое определение неверно. Цепи Маркова часто используются в контексте выборки из апостериорного распределения (MCMC). Эти апостериорные могут быть определены в пространстве конечных или непрерывных состояний; поэтому первое определение, вероятно, неверно. Второй имеет больше смысла. Однако я не думаю, что между ними есть большая разница, так как я часто видел фразу «Марковские цепи с непрерывным временем».

— Greenparker

1

я помню, что из учебника я узнал, что марковский процесс - это наиболее общий термин, а цепочка Маркова - это дискретный по времени и особый случай из отдельных состояний.

— Haitao Du

8

От предисловия к первому изданию «Цепи Маркова и стохастической устойчивости» Мейна и Твиди:

Здесь мы имеем дело с цепями Маркова. Несмотря на первоначальные попытки Дуба и Чунга [99,71] зарезервировать этот термин для систем, эволюционирующих в счетных пространствах с дискретными и непрерывными параметрами времени, использование, похоже, определило (см., Например, Revuz [326]), что цепи Маркова движутся в дискретное время, в любом месте, где они пожелают; и таковы системы, которые мы описываем здесь.

Изменить: ссылки, цитируемые моей ссылкой, соответственно:

99: JL Doob. Стохастические процессы . John Wiley & Sons, Нью-Йорк, 1953

71: К. Л. Чунг. Марковские цепи со стационарными переходными вероятностями . Springer-Verlag, Берлин, второе издание, 1967.

326: Д. Ревуз. Марковские цепи . Северная Голландия, Амстердам, второе издание, 1984.

— Тейлор
источник

6

Один из методов классификации случайных процессов основан на характере time parameter( дискретный или непрерывный ) и state space( дискретный или непрерывный ). Это приводит к четырем категориям случайных процессов.

Если state spaceслучайный процесс дискретен , является ли time parameterон дискретным или непрерывным , этот процесс обычно называют цепочкой .

Если случайный процесс обладает свойством Маркова , независимо от характера параметра времени (дискретного или непрерывного) и пространства состояний (дискретного или непрерывного) , то он называется марковским процессом . Следовательно, у нас будет четыре категории марковских процессов.

continuous time parameter, discrete state spaceСлучайный процесс , обладающий свойством Маркова называется непрерывным параметром цепь Маркова (СТМС) .

discrete time parameter, discrete state spaceСлучайный процесс , обладающий свойством Маркова называется дискретный параметр цепь Маркова (DTMC) .

Точно так же мы можем иметь два других марковских процесса.

Обновление 2017-03-09:

Every independent increment process is a Markov process.

Poisson processналичие независимого свойства приращения является Markov processнепрерывным параметром времени и дискретным пространством состояний.

Brownian motion processналичие независимого свойства приращения является Markov processс непрерывным параметром времени и непрерывным процессом пространства состояний.

— LVRao
источник