Überprüfen Sie die memorylose Eigenschaft einer Markov-Kette

Ich vermute, dass eine Reihe von beobachteten Sequenzen eine Markov-Kette sind ...

$$X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right)$$

Wie kann ich jedoch überprüfen, ob sie tatsächlich die memorylose Eigenschaft von respektieren

$$P(X_i=x_i|X_j=x_j)?$$

Oder zumindest beweisen, dass sie Markov in der Natur sind? Beachten Sie, dass dies empirisch beobachtete Sequenzen sind. Irgendwelche Gedanken?

BEARBEITEN

Um nur hinzuzufügen, das Ziel ist es, einen vorhergesagten Satz von Sequenzen mit den beobachteten zu vergleichen. Wir würden uns daher über Kommentare freuen, wie diese am besten verglichen werden können.

Übergangsmatrix erster Ordnung

$$M_{ij}=\displaystyle \frac{x_ij}{\sum^mx_{ik}}$$ wobei m = A..E ist

$$M=\left(\begin{array}{c c c c c c c} 0.1834& 0.3077 & 0.0769& 0.1479 & 0.2840\\ 0.4697& 0.1136 & 0.0076 & 0.2500 & 0.1591\\ 0.1827& 0.2404& 0.2212 & 0.1923 & 0.1635\\ 0.2378 & 0.1818& 0.0629& 0.3357 & 0.1818\\ 0.2458 & 0.1788& 0.1173 & 0.1788 & 0.2793\end{array}\right)$$

Eigenwerte von

$$E =\left(\begin{array}{c c c c c c c} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & -0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0\\ 0 & 0 & 0 & 0.1136 - 0.0430i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430i\\ \end{array}\right)$$

Eigenvektoren von M

$$V =\left(\begin{array}{c c c c c c c} 0.4472& -0.5852 & -0.4219 & -0.2343 - 0.0421i & -0.2343 + 0.0421i\\ 0.4472 & 0.7838 & -0.4211 & -0.4479 - 0.2723i & -0.4479 + 0.2723i\\ 0.4472 & -0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & -0.0010 & 0.7089 & 0.2123 - 0.0908i & 0.2123 + 0.0908i\\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881i & 0.2546 - 0.3881i\\ \end{array}\right)$$

Ich frage mich, ob das Folgende einen gültigen Pearson Test für die folgenden Proportionen ergeben würde.$\chi^2$

1. Schätzen Sie die Ein-Schritt-Übergangswahrscheinlichkeiten ab - das haben Sie getan.
2. Erhalten , um die Zwei-Schritt - Modellwahrscheinlichkeiten: p U , V = P r o b [ X i + 2 = U | X i = V ] = Σ W ∈ { A , B , C , D } P R o b [ X i + 2 = U | X i + 1 = W ] P r $$\hat p_{U,V} = {\rm Prob}[X_{i+2}=U|X_i=V] = \sum_{W\in\{A,B,C,D\}} {\rm Prob}[X_{i+2}=U|X_{i+1}=W]{\rm Prob}[X_{i+1}=W|X_i=V]$$
3. Erhalten Sie die zweistufigen empirischen Wahrscheinlichkeiten $$\tilde p_{U,V} = \frac{\sum_i \# X_i = V, X_{i+2} = U}{\sum_i \# X_i = V}$$
4. $$T_V = \# \{X_i = V\} \sum_U \frac{(\hat p_{U,V} - \tilde p_{U,V})^2}{\hat p_{U,V}}, \quad T=T_A + T_B + T_C + T_D$$

$T_U \sim \chi^2_3$$T\sim \chi^2_{12}$$\hat p$$\bar p$

Die Markov-Eigenschaft ist möglicherweise nur schwer direkt zu testen. Es kann jedoch ausreichend sein, ein Modell anzupassen, das die Markov-Eigenschaft annimmt, und dann zu testen, ob das Modell gültig ist. Es kann sich herausstellen, dass das angepasste Modell eine gute Annäherung ist, die für Sie in der Praxis nützlich ist, und Sie müssen sich keine Sorgen machen, ob die Markov-Eigenschaft tatsächlich gilt oder nicht.

Die Parallele kann zur linearen Regression gezogen werden. In der Regel wird nicht geprüft, ob die Linearität gilt, sondern ob das lineare Modell eine nützliche Annäherung darstellt.

Um den Vorschlag der vorherigen Antwort zu konkretisieren, möchten Sie zunächst die Markov-Wahrscheinlichkeiten abschätzen - vorausgesetzt, es handelt sich um Markov. Siehe die Antwort hier Schätzen der Markov-Kettenwahrscheinlichkeiten

$M$$M^2$$M^2$

$M$$M^2$

Eine andere Möglichkeit wäre zu sehen, ob die Proportionen des Grundzustands: die in A verbrachte Proportionszeit, die in B verbrachte Zeit, mit dem Eigenvektor des Einheitseigenwerts von M übereinstimmen Staat sollte zu dieser Grenze neigen.

$X_t$$\mathbf{P}(t)$$t$$t$$X_t$$X_{t-7}$$X_{t-1}$

$X_t$$X_{t-2}$$X_{t-1}$$n$$X_t$$X_{t-2}$$\{X_{t-1} = x_j\}$$n$$x_j$$X_{t-\ell}$$\ell > 1$$X_{t-2}$

applysweep$p(X_t \vert X_{t-1}=x_j, X_{t-2} = x_i)$$i$$j$ als spaltenindex im spalier soll unter MP zu ähnlichen verteilungen innerhalb einer spalte führen.

Der Junge. 5 des Buches Die statistische Analyse stochastischer Prozesse in der Zeit von JK Lindsey enthält andere Ideen zur Überprüfung von Annahmen.

[## simulates a MC with transition matrix in 'trans', starting from 'ini'
simMC <- function(trans, ini = 1, N) {
  X <- rep(NA, N)
  Pcum <- t(apply(trans, 1, cumsum))
  X[1] <- ini 
  for (t in 2:N) {
    U <- runif(1)
    X[t] <- findInterval(U, Pcum[X[t-1], ]) + 1
  }
  X
}
set.seed(1234)
## transition matrix
P <- matrix(c(0.1, 0.1, 0.1, 0.7,
              0.1, 0.1, 0.6, 0.2,
              0.1, 0.3, 0.2, 0.4,
              0.2, 0.2, 0.3, 0.3),
            nrow = 4, ncol = 4, byrow = TRUE)
N <- 2000
X <- simMC(trans = P, ini = 1, N = N)
## it is better to work with factors
X <- as.factor(X)
levels(X) <- LETTERS[1:4]
## table transitions and normalize each row
Phat <- table(X[1:(N-1)], X[2:N])
Phat <- sweep(x = Phat, MARGIN = 1, STATS = apply(Phat, 1, sum), FUN = "/")
## explicit dimnames
dimnames(Phat) <- lapply(list("X(t-1)=" ,"X(t)="),
                         paste, sep = "", levels(as.factor(X)))
## transition 3-fold contingency array
P3 <- table(X[1:(N-2)], X[2:(N-1)], X[3:N])
dimnames(P3) <- lapply(list("X(t-2)=", "X(t-1)=" ,"X(t)="),
                       paste, sep = "", levels(as.factor(X)))
## apply ONE indendence test 
fisher.test(P3[ , 1, ], simulate.p.value = TRUE)
## plot conditional distr.
library(lattice)
X3 <- data.frame(X = X[3:N], lag1X =  X[2:(N-1)], lag2X = X[1:(N-2)])
histogram( ~ X | lag1X + lag2X, data = X3, col = "SteelBlue3")

]

Ich denke, Placida und Mpiktas haben beide sehr nachdenkliche und ausgezeichnete Ansätze gegeben.

Ich antworte, weil ich nur hinzufügen möchte, dass man einen Test erstellen könnte, um zu sehen, ob $P(X_i=x|X_{i-1}=y)$ unterscheidet sich von $P(X_i=x|X_{i-1}=y \text{ and } X_{i-2}=z)$.

Ich würde Werte für auswählen $x$, $y$ und $z$ für die es eine große Anzahl von Fällen gibt, in denen der Übergang von $z$ zu $y$ zu $x$tritt ein. Berechnen Sie Stichprobenschätzungen für beide Wahrscheinlichkeiten. Testen Sie dann die Proportionen. Der schwierige Aspekt dabei ist, die Varianzen der beiden Schätzungen unter der Nullhypothese zu ermitteln, die besagen, dass die Proportionen gleich sind und die Kette stationär und Markov ist. Wenn wir in diesem Fall unter der Nullhypothese nur alle 2-Stufen-Übergänge betrachten und sie mit ihren entsprechenden 3-Stufen-Übergängen vergleichen, aber nur Ergebnisse einschließen, bei denen diese gepaarten Ergebnissätze um mindestens 2 Zeitpunkte voneinander getrennt sind, dann ist die Folge der gemeinsamen Ergebnisse wo Erfolg ist definiert als$z$ zu $y$ zu $x$ Übergang und alle anderen zweistufigen Übergänge zu $x$als Misserfolge repräsentieren eine Reihe von unabhängigen Bernoulli-Versuchen unter der Nullhypothese. Dasselbe würde für die Definition aller funktionieren$y$ zu $x$ Übergänge als Erfolge und andere einstufige Übergänge zu $x$ als Fehlschläge.

Then the test statistic would be the difference between these estimated proportions. The complication to the standard comparison of the Bernoulli sequences is that they are correlated. But you could do a bootstrap test of binomial proportions in this case.

The other possibility is to construct a two by two table of the two stage and three stage paired outcomes where $0$ is failure and $1$ is success and the cell frequencies are counts for the pairs $(0,0)$, $(0,1)$, $(1,0)$ and $(1,1)$ where the first component is the two stage outcome and the second is the corresponding three stage outcome. You can then apply McNemar's test to the table.

You could bin the data into evenly spaced intervals, then compute the unbiased sample variances of subsets $\{X_{n+1}:X_n=x_1,X_{n-k}=x_2\}$. By the law of total variance,

$$\mathrm{Var}[E(X_{n+1}|X_n,X_{n-k})|X_n] = \mathrm{Var}[X_{n+1}|X_n]-E(\mathrm{Var}[X_{n+1}|X_n])$$

The LHS, if it is almost zero, provides evidence that the transition probabilities do not depend on $X_{n-k}$, though it is clearly a weaker statement: e.g., let $X_{n+1}\sim N(X_n,X_{n-1})$. Taking the expected value of both sides of the above equation, the RHS can be computed from the sample variances (i.e., replacing expected values with averages). If the expected value of the variance is zero then the variance is 0 almost always.