Марковский процесс только в зависимости от предыдущего состояния

Я просто хотел бы, чтобы кто-то подтвердил мое понимание или я что-то упустил.

Определение марковского процесса говорит, что следующий шаг зависит только от текущего состояния, а не от прошлых состояний. Итак, допустим, у нас было пространство состояний a, b, c, d, и мы идем от a-> b-> c-> d. Это означает, что переход к d может зависеть только от того, что мы были в c.

Однако правда ли, что вы могли бы просто сделать модель более сложной и отчасти обойти это ограничение? Другими словами, если ваше пространство состояний было теперь aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, это означает, что ваше новое пространство состояний становится предыдущее состояние в сочетании с текущим состоянием, тогда вышеупомянутый переход будет * a-> ab-> bc-> cd, и поэтому переход к cd (эквивалентный в предыдущей модели к d) теперь "зависит" от состояния, которое, если смоделировано по-другому, это предыдущее состояние (ниже я обозначаю его как подсостояние).

Правильно ли я в том, что можно сделать так, чтобы оно «зависело от предыдущих состояний (подсостояний)» (технически я знаю, что в новой модели это не так, поскольку подсостояние больше не является реальным состоянием) поддерживает свойство markov, расширяя государственное пространство как я? Таким образом, можно фактически создать марковский процесс, который может зависеть от любого количества предыдущих подсостояний.

Технически оба описываемых вами процесса являются цепями Маркова. Разница в том, что первая цепь Маркова первого порядка, а вторая цепь Маркова второго порядка. И да, вы можете преобразовать цепочку Маркова второго порядка в цепочку Маркова первого порядка с помощью подходящего изменения в определении пространства состояний. Позвольте мне объяснить на примере.

Предположим, что мы хотим смоделировать погоду как случайный процесс и предположим, что в любой день погода может быть дождливой, солнечной или облачной. Пусть будет погодой в любой конкретный день и обозначим возможные состояния символами R (для дождливой погоды ), S для (солнечной) и C (для облачной).$W_t$$R$$S$$C$

Марковская цепь первого порядка

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

Марковская цепь второго порядка

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

Цепь Маркова второго порядка может быть преобразована в цепь Маркова первого порядка, переопределяя пространство состояний следующим образом. Определение:

как погода на два дня подряд.$Z_{t-1,t}$

Другими словами, пространство состояний может принимать одно из следующих значений: , R C , R S , C R , C C , C S , S R , S C и S S . С этим переопределенным пространством состояний мы имеем следующее:$RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

Вышесказанное явно является цепью Маркова первого порядка в переопределенном пространстве состояний. Единственное отличие от цепочки Маркова второго порядка состоит в том, что ваша переопределенная цепочка Маркова должна быть указана с двумя начальными начальными состояниями, то есть цепочка должна быть запущена с некоторыми предположениями о погоде в день 1 и день 2.

Определение марковского процесса говорит, что следующий шаг зависит только от текущего состояния, а не от прошлых состояний.

$n^{th}$$n-1$

$n^{th}$$n$$n^{th}$$k$$O(k^{2n})$

Возможно, вы захотите взглянуть на недавние статьи, такие как многомерные цепи Маркова высшего порядка и их приложения, поскольку эта область быстро продвигается вперед.