Проверка свойства памяти Маркова без памяти

17

Я подозреваю, что ряд наблюдаемых последовательностей представляет собой цепь Маркова ...

X = (\begin{array}{ccccccc} A & C & D & D & B & A & C \\ B & A & A & C & A & D & A \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ B & C & A & D & A & B & E \end{array})

$X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right)$

Однако, как я мог проверить, что они действительно уважают свойство без памяти

P (X_{i} = x_{i} | X_{j} = x_{j}) ?

$P(X_i=x_i|X_j=x_j)?$

Или хотя бы доказать, что они марковские по природе? Обратите внимание, что это эмпирически наблюдаемые последовательности. Есть предположения?

РЕДАКТИРОВАТЬ

Просто добавьте, цель состоит в том, чтобы сравнить предсказанный набор последовательности из наблюдаемых. Поэтому мы будем благодарны за комментарии о том, как их лучше всего сравнить.

Матрица переходов первого порядка

M_{i j} = \frac{x_{i} j}{\sum^{m} x_{i k}}

$M_{ij}=\displaystyle \frac{x_ij}{\sum^mx_{ik}}$ где m = A..E состояния

M = (\begin{array}{ccccccc} 0.1834 & 0.3077 & 0.0769 & 0.1479 & 0.2840 \\ 0.4697 & 0.1136 & 0.0076 & 0.2500 & 0.1591 \\ 0.1827 & 0.2404 & 0.2212 & 0.1923 & 0.1635 \\ 0.2378 & 0.1818 & 0.0629 & 0.3357 & 0.1818 \\ 0.2458 & 0.1788 & 0.1173 & 0.1788 & 0.2793 \end{array})

$M=\left(\begin{array}{c c c c c c c} 0.1834& 0.3077 & 0.0769& 0.1479 & 0.2840\\ 0.4697& 0.1136 & 0.0076 & 0.2500 & 0.1591\\ 0.1827& 0.2404& 0.2212 & 0.1923 & 0.1635\\ 0.2378 & 0.1818& 0.0629& 0.3357 & 0.1818\\ 0.2458 & 0.1788& 0.1173 & 0.1788 & 0.2793\end{array}\right)$

Собственные значения M

E = (\begin{array}{ccccccc} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & - 0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0 \\ 0 & 0 & 0 & 0.1136 - 0.0430 i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430 i \end{array})

$E =\left(\begin{array}{c c c c c c c} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & -0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0\\ 0 & 0 & 0 & 0.1136 - 0.0430i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430i\\ \end{array}\right)$

Собственные векторы M

V = (\begin{array}{ccccccc} 0.4472 & - 0.5852 & - 0.4219 & - 0.2343 - 0.0421 i & - 0.2343 + 0.0421 i \\ 0.4472 & 0.7838 & - 0.4211 & - 0.4479 - 0.2723 i & - 0.4479 + 0.2723 i \\ 0.4472 & - 0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & - 0.0010 & 0.7089 & 0.2123 - 0.0908 i & 0.2123 + 0.0908 i \\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881 i & 0.2546 - 0.3881 i \end{array})

$V =\left(\begin{array}{c c c c c c c} 0.4472& -0.5852 & -0.4219 & -0.2343 - 0.0421i & -0.2343 + 0.0421i\\ 0.4472 & 0.7838 & -0.4211 & -0.4479 - 0.2723i & -0.4479 + 0.2723i\\ 0.4472 & -0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & -0.0010 & 0.7089 & 0.2123 - 0.0908i & 0.2123 + 0.0908i\\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881i & 0.2546 - 0.3881i\\ \end{array}\right)$

markov-process

— HCAI
источник

В столбцах содержатся серии, а в строках элементы последовательностей? Каково наблюдаемое количество строк и столбцов?

— mpiktas

2

Возможный дубликат: stats.stackexchange.com/questions/29490/…

— mpiktas

@mpiktas Строки представляют собой независимые наблюдаемые последовательности переходов через состояния AD. Есть около 400 последовательностей ... Имейте в виду, что наблюдаемые последовательности не имеют одинаковую длину. Фактически вышеприведенная матрица во многих случаях дополняется нулями. Спасибо за ссылку, кстати. Похоже, что в этой области еще много работы. У тебя есть еще мысли? С Уважением,

— HCAI

1

Линейная регрессия была примером, подтверждающим мой аргумент. Т.е. вам может не потребоваться тестировать свойство Markov напрямую, вам нужно только установить модем, который принимает свойство Markov, а затем проверить на корректность модели.

— mpiktas

1

Я смутно помню, что где-то видел проверку гипотезы для H0 = {Маркова} против H1 = {Маркова порядка 2}. Это может помочь.

— Стефан Лоран

5

Интересно, даст ли следующее действительный тест Пирсона для пропорций следующим образом. $\chi^2$

Оцените вероятности перехода за один шаг - вы сделали это.
Получите вероятности двухшаговой модели: ${\hat{p}}_{U, V} = P r o b [X_{i + 2} = U | X_{i} = V] = \sum_{W \in {A, B, C, D}} P r o b [X_{i + 2} = U | X_{i + 1} = W] P r o b [X_{i + 1} = W | X_{i} = V]$ $\hat p_{U,V} = {\rm Prob}[X_{i+2}=U|X_i=V] = \sum_{W\in\{A,B,C,D\}} {\rm Prob}[X_{i+2}=U|X_{i+1}=W]{\rm Prob}[X_{i+1}=W|X_i=V]$
Получить двухэтапные эмпирические вероятности ${\tilde{p}}_{U, V} = \frac{\sum_{i} # X_{i} = V, X_{i + 2} = U}{\sum_{i} # X_{i} = V}$ $\tilde p_{U,V} = \frac{\sum_i \# X_i = V, X_{i+2} = U}{\sum_i \# X_i = V}$
Форма теста Пирсона $T_{V} = # {X_{i} = V} \sum_{U} \frac{({\hat{p}}_{U, V} - {\tilde{p}}_{U, V})^{2}}{{\hat{p}}_{U, V}}, T = T_{A} + T_{B} + T_{C} + T_{D}$ $T_V = \# \{X_i = V\} \sum_U \frac{(\hat p_{U,V} - \tilde p_{U,V})^2}{\hat p_{U,V}}, \quad T=T_A + T_B + T_C + T_D$

Это заманчиво для меня, чтобы думать, что каждый , так что общее количество . Однако я не совсем уверен в этом и буду признателен за ваши мысли по этому поводу. Я также не уверен в том, нужно ли быть параноиком в отношении независимости, и хотел бы разбить выборку пополам, чтобы оценить и . $T_U \sim \chi^2_3$ $T\sim \chi^2_{12}$ $\hat p$ $\bar p$

— Stask
источник

Разве вероятности не должны иметь нормальное распределение со средним 0 и дисперсией = 1, чтобы это сохранялось? Мне было бы очень интересно узнать, что кто-нибудь думает здесь.

— HCAI

Вот каковы должны быть суммы в сумме, асимптотически с большим количеством.

— StasK

6

Свойство Маркова может быть трудно проверить напрямую. Но этого может быть достаточно для подгонки модели, которая предполагает свойство Маркова, а затем для проверки правильности модели. Может оказаться, что подобранная модель является хорошим приближением, которое полезно для вас на практике, и вам не нужно беспокоиться о том, действительно ли свойство Маркова действительно выполняется или нет.

Параллель можно провести к линейной регрессии. Обычная практика состоит не в том, чтобы проверить, имеет ли место линейность, а в том, является ли линейная модель полезным приближением.

— mpiktas
источник

Это кажется лучшим вариантом в реальности, только я не могу сравнить линейную модель с какими-либо фактическими экспериментальными данными. Или вы имели в виду что-то еще?

— HCAI

6

Чтобы конкретизировать предложение предыдущего ответа, вы сначала хотите оценить вероятности Маркова - предполагая, что это Марков. Смотрите ответ здесь Оценка вероятностей цепей Маркова

Вы должны получить матрицу 4 х 4 на основе доли переходов из состояния А к А, от А до В и т.д. Вызывайте эту матрицу . Тогда должна быть двухступенчатой матрицей перехода: от A до A за 2 шага и так далее. Затем вы можете проверить, похожа ли ваша наблюдаемая двухступенчатая матрица перехода на $M$ $M^2$ $M^2$ .

Поскольку у вас много данных о количестве состояний, вы можете оценить половине данных и проверить $M$ $M^2$ используя другую половину - вы проверяете наблюдаемые частоты по теоретическим вероятностям полинома. Это должно дать вам представление о том, как далеко вы находитесь.

Другой возможностью было бы посмотреть, соответствуют ли пропорции основного состояния: пропорция времени, проведенного в A, времени, проведенного в B, соответствует собственному вектору собственного значения единицы M. Если ваша серия достигла какого-то устойчивого состояния, доля времени в каждом государство должно стремиться к этому пределу.

— Placidia
источник

Там есть что взять. Я вычислил матрицу переходов

, но я не уверен, как вы вычислите

эмпирически. Не могли бы вы уточнить этот момент? С уважением,

M

$M$

M^{2}

$M^2$

— HCAI

Кроме того, последний комментарий очень интересен, хотя у меня нет времени, проведенного в каждом состоянии моих наблюдаемых последовательностей. У меня есть только общее время для каждой строки. Так что это может ограничить применимость этого метода. о чем ты думаешь?

— HCAI

1

Сделайте это так же, как вы делали M, только вместо того, чтобы смотреть на переходы ближайших соседей (скажем, последовательности AB), смотрите на пары, разделенные двумя. Таким образом, если субъект получает ACB, это учитывается при подсчете переходов AB. Как и АББ. Создайте матрицу, в которой элемент в строке i, столбце j содержит переходы i в j. Затем разделите на столбцы итогов. Вы хотите, чтобы столбцы суммировали до 1. В свойстве Маркова эта матрица должна быть близка к

M^{2}

$M^2$

— Плацидия

RE: равновесие. Я предполагал, что переходы происходят в установленные моменты - скажем, каждую секунду вы переходите из текущего состояния в следующее состояние. Можно оценить частоту состояний A, B, C и D вблизи концов последовательностей или между последовательностями, чтобы оценить предельное поведение.

— Плацидия

В R, если вы делаете собственные (M), вы должны получить собственные значения и собственные векторы M. Одно собственное значение будет равно 1. Соответствующий собственный вектор должен быть пропорционален вашим установившимся пропорциям .... если Марков.

— Плацидия,

2

Помимо марковского свойства (MP), еще одним свойством является временная однородность (TH): может быть марковским, но с переходной матрицей зависящей от времени . Например, это может зависеть от дня недели в момент времени если наблюдения являются ежедневными, и тогда зависимость от обусловленная может быть диагностирована, если TH неправильно принят. $X_t$ $\mathbf{P}(t)$ $t$ $t$ $X_t$ $X_{t-7}$ $X_{t-1}$

Предполагая, что TH имеет место, возможной проверкой MP является проверка того, что не зависит от условно для , как предложили Майкл Черник и StasK. Это можно сделать с помощью теста на непредвиденные обстоятельства. Мы можем построить таблиц сопряженности для и условных на для возможных значений $X_t$ $X_{t-2}$ $X_{t-1}$ $n$ $X_t$ $X_{t-2}$ $\{X_{t-1} = x_j\}$ $n$ $x_j$ и проверить на независимость. Это также можно сделать, используя с вместо $X_{t-\ell}$ $\ell > 1$ $X_{t-2}$ .

В R, Таблица или массивы легко получены благодаря фактору объекту и функциям apply, sweep. Идея выше также может быть использована графически. Пакеты ggplot2 или решетка легко предоставляют условные графики для сравнения условных распределений . Например, установка качестве индекса строки и индекса столбца в решетке должна в MP приводить к аналогичным распределениям внутри столбца. $p(X_t \vert X_{t-1}=x_j, X_{t-2} = x_i)$ $i$ $j$

Глава 5 книги Статистический анализ случайных процессов во времени Дж. К. Линдси содержит другие идеи для проверки предположений.

enter image description here

[## simulates a MC with transition matrix in 'trans', starting from 'ini'
simMC <- function(trans, ini = 1, N) {
  X <- rep(NA, N)
  Pcum <- t(apply(trans, 1, cumsum))
  X[1] <- ini 
  for (t in 2:N) {
    U <- runif(1)
    X[t] <- findInterval(U, Pcum[X[t-1], ]) + 1
  }
  X
}
set.seed(1234)
## transition matrix
P <- matrix(c(0.1, 0.1, 0.1, 0.7,
              0.1, 0.1, 0.6, 0.2,
              0.1, 0.3, 0.2, 0.4,
              0.2, 0.2, 0.3, 0.3),
            nrow = 4, ncol = 4, byrow = TRUE)
N <- 2000
X <- simMC(trans = P, ini = 1, N = N)
## it is better to work with factors
X <- as.factor(X)
levels(X) <- LETTERS[1:4]
## table transitions and normalize each row
Phat <- table(X[1:(N-1)], X[2:N])
Phat <- sweep(x = Phat, MARGIN = 1, STATS = apply(Phat, 1, sum), FUN = "/")
## explicit dimnames
dimnames(Phat) <- lapply(list("X(t-1)=" ,"X(t)="),
                         paste, sep = "", levels(as.factor(X)))
## transition 3-fold contingency array
P3 <- table(X[1:(N-2)], X[2:(N-1)], X[3:N])
dimnames(P3) <- lapply(list("X(t-2)=", "X(t-1)=" ,"X(t)="),
                       paste, sep = "", levels(as.factor(X)))
## apply ONE indendence test 
fisher.test(P3[ , 1, ], simulate.p.value = TRUE)
## plot conditional distr.
library(lattice)
X3 <- data.frame(X = X[3:N], lag1X =  X[2:(N-1)], lag2X = X[1:(N-2)])
histogram( ~ X | lag1X + lag2X, data = X3, col = "SteelBlue3")

]

— Ив
источник

2

Я думаю, что placida и mpiktas дали очень продуманные и превосходные подходы.

$P(X_i=x|X_{i-1}=y)$ $P(X_i=x|X_{i-1}=y \text{ and } X_{i-2}=z)$ .

$x$ $y$ $z$ $z$ $y$ $x$ $z$ $y$ $x$ $x$ $y$ $x$ $x$ как сбои.

Тогда статистикой теста будет разница между этими оценочными пропорциями. Сложность стандартного сравнения последовательностей Бернулли заключается в том, что они коррелированы. Но в этом случае вы можете выполнить тест начальной загрузки биномиальных пропорций.

$0$ $1$ $(0,0)$ $(0,1)$ $(1,0)$ $(1,1)$

— Майкл Р. Черник
источник

P (X_{i} | X_{i - 1} = y)

$P(X_i|X_{i-1}=y)$

_{i}

$_i$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

i \to j \to i

$i\rightarrow j\rightarrow i$

i \to j \to k \to i

$i\rightarrow j\rightarrow k\rightarrow i$

1

$\{X_{n+1}:X_n=x_1,X_{n-k}=x_2\}$

V a r [E (X_{n + 1} | X_{n}, X_{n - k}) | X_{n}] = V a r [X_{n + 1} | X_{n}] - E (V a r [X_{n + 1} | X_{n}])

$\mathrm{Var}[E(X_{n+1}|X_n,X_{n-k})|X_n] = \mathrm{Var}[X_{n+1}|X_n]-E(\mathrm{Var}[X_{n+1}|X_n])$

$X_{n-k}$ $X_{n+1}\sim N(X_n,X_{n-1})$

— Люк О'Коннор
источник