Überprüfen Sie die memorylose Eigenschaft einer Markov-Kette

17

Ich vermute, dass eine Reihe von beobachteten Sequenzen eine Markov-Kette sind ...

X = (\begin{array}{ccccccc} A & C & D & D & B & A & C \\ B & A & A & C & A & D & A \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ B & C & A & D & A & B & E \end{array})

$X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right)$

Wie kann ich jedoch überprüfen, ob sie tatsächlich die memorylose Eigenschaft von respektieren

P (X_{i} = x_{i} | X_{j} = x_{j}) ?

$P(X_i=x_i|X_j=x_j)?$

Oder zumindest beweisen, dass sie Markov in der Natur sind? Beachten Sie, dass dies empirisch beobachtete Sequenzen sind. Irgendwelche Gedanken?

BEARBEITEN

Um nur hinzuzufügen, das Ziel ist es, einen vorhergesagten Satz von Sequenzen mit den beobachteten zu vergleichen. Wir würden uns daher über Kommentare freuen, wie diese am besten verglichen werden können.

Übergangsmatrix erster Ordnung

M_{i j} = \frac{x_{i} j}{\sum^{m} x_{i k}}

$M_{ij}=\displaystyle \frac{x_ij}{\sum^mx_{ik}}$ wobei m = A..E ist

M = (\begin{array}{ccccccc} 0.1834 & 0.3077 & 0.0769 & 0.1479 & 0.2840 \\ 0.4697 & 0.1136 & 0.0076 & 0.2500 & 0.1591 \\ 0.1827 & 0.2404 & 0.2212 & 0.1923 & 0.1635 \\ 0.2378 & 0.1818 & 0.0629 & 0.3357 & 0.1818 \\ 0.2458 & 0.1788 & 0.1173 & 0.1788 & 0.2793 \end{array})

$M=\left(\begin{array}{c c c c c c c} 0.1834& 0.3077 & 0.0769& 0.1479 & 0.2840\\ 0.4697& 0.1136 & 0.0076 & 0.2500 & 0.1591\\ 0.1827& 0.2404& 0.2212 & 0.1923 & 0.1635\\ 0.2378 & 0.1818& 0.0629& 0.3357 & 0.1818\\ 0.2458 & 0.1788& 0.1173 & 0.1788 & 0.2793\end{array}\right)$

Eigenwerte von

E = (\begin{array}{ccccccc} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & - 0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0 \\ 0 & 0 & 0 & 0.1136 - 0.0430 i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430 i \end{array})

$E =\left(\begin{array}{c c c c c c c} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & -0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0\\ 0 & 0 & 0 & 0.1136 - 0.0430i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430i\\ \end{array}\right)$

Eigenvektoren von M

V = (\begin{array}{ccccccc} 0.4472 & - 0.5852 & - 0.4219 & - 0.2343 - 0.0421 i & - 0.2343 + 0.0421 i \\ 0.4472 & 0.7838 & - 0.4211 & - 0.4479 - 0.2723 i & - 0.4479 + 0.2723 i \\ 0.4472 & - 0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & - 0.0010 & 0.7089 & 0.2123 - 0.0908 i & 0.2123 + 0.0908 i \\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881 i & 0.2546 - 0.3881 i \end{array})

$V =\left(\begin{array}{c c c c c c c} 0.4472& -0.5852 & -0.4219 & -0.2343 - 0.0421i & -0.2343 + 0.0421i\\ 0.4472 & 0.7838 & -0.4211 & -0.4479 - 0.2723i & -0.4479 + 0.2723i\\ 0.4472 & -0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & -0.0010 & 0.7089 & 0.2123 - 0.0908i & 0.2123 + 0.0908i\\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881i & 0.2546 - 0.3881i\\ \end{array}\right)$

markov-process

— HCAI
quelle

Die Spalten enthalten die Reihen und die Zeilen die Elemente der Sequenzen? Wie viele Zeilen und Spalten wurden beobachtet?

— mpiktas

2

Mögliches Duplikat: stats.stackexchange.com/questions/29490/…

— mpiktas

@mpiktas Die Zeilen repräsentieren die unabhängig beobachteten Folgen von Übergängen durch die Zustände AD. Es gibt ungefähr 400 Sequenzen ... Beachten Sie, dass die beobachteten Sequenzen nicht alle gleich lang sind. Tatsächlich wird die obige Matrix in vielen Fällen durch Nullen ergänzt. Danke übrigens für den Link. Es scheint, dass es auf diesem Gebiet noch viel Raum für Arbeit gibt. Hast du noch weitere Gedanken? Grüße,

— HCAI

1

Die lineare Regression war ein Beispiel, um den Punkt meiner Argumentation zu stärken. Dh, dass Sie die Markov-Eigenschaft möglicherweise nicht direkt testen müssen, müssen Sie nur ein Modem anpassen, das die Markov-Eigenschaft übernimmt, und dann die Gültigkeit des Modells überprüfen.

— mpiktas

1

Ich erinnere mich vage, dass ich irgendwo einen Hypothesentest für H0 = {Markov} vs H1 = {Markov order 2} gesehen habe. Das könnte helfen.

— Stéphane Laurent

5

Ich frage mich, ob das Folgende einen gültigen Pearson Test für die folgenden Proportionen ergeben würde. $\chi^2$

Schätzen Sie die Ein-Schritt-Übergangswahrscheinlichkeiten ab - das haben Sie getan.
Erhalten , um die Zwei-Schritt - ${\hat{p}}_{U, V} = P r o b [X_{i + 2} = U | X_{i} = V] = \sum_{W \in {A, B, C, D}} P r o b [X_{i + 2} = U | X_{i + 1} = W] P r o b [X_{i + 1} = W | X_{i} = V]$ $\hat p_{U,V} = {\rm Prob}[X_{i+2}=U|X_i=V] = \sum_{W\in\{A,B,C,D\}} {\rm Prob}[X_{i+2}=U|X_{i+1}=W]{\rm Prob}[X_{i+1}=W|X_i=V]$
Erhalten Sie die zweistufigen empirischen Wahrscheinlichkeiten ${\tilde{p}}_{U, V} = \frac{\sum_{i} # X_{i} = V, X_{i + 2} = U}{\sum_{i} # X_{i} = V}$ $\tilde p_{U,V} = \frac{\sum_i \# X_i = V, X_{i+2} = U}{\sum_i \# X_i = V}$
$T_{V} = # {X_{i} = V} \sum_{U} \frac{({\hat{p}}_{U, V} - {\tilde{p}}_{U, V})^{2}}{{\hat{p}}_{U, V}}, T = T_{A} + T_{B} + T_{C} + T_{D}$ $T_V = \# \{X_i = V\} \sum_U \frac{(\hat p_{U,V} - \tilde p_{U,V})^2}{\hat p_{U,V}}, \quad T=T_A + T_B + T_C + T_D$

$T_U \sim \chi^2_3$ $T\sim \chi^2_{12}$ $\hat p$ $\bar p$

— StasK
quelle

Müssen die Wahrscheinlichkeiten nicht eine Normalverteilung mit Mittelwert 0 und Varianz = 1 haben, damit dies gilt? Es würde mich sehr interessieren, was hier jemand denkt.

— HCAI

Das ist, was die Ausdrücke in der Summe sein sollen, asymptotisch mit großen Zählimpulsen.

— StasK

6

Die Markov-Eigenschaft ist möglicherweise nur schwer direkt zu testen. Es kann jedoch ausreichend sein, ein Modell anzupassen, das die Markov-Eigenschaft annimmt, und dann zu testen, ob das Modell gültig ist. Es kann sich herausstellen, dass das angepasste Modell eine gute Annäherung ist, die für Sie in der Praxis nützlich ist, und Sie müssen sich keine Sorgen machen, ob die Markov-Eigenschaft tatsächlich gilt oder nicht.

Die Parallele kann zur linearen Regression gezogen werden. In der Regel wird nicht geprüft, ob die Linearität gilt, sondern ob das lineare Modell eine nützliche Annäherung darstellt.

— mpiktas
quelle

Dies scheint die beste Option in der Realität zu sein, nur kann ich ein lineares Modell nicht mit tatsächlichen experimentellen Daten vergleichen. Oder hattest du etwas anderes im Sinn?

— HCAI

6

Um den Vorschlag der vorherigen Antwort zu konkretisieren, möchten Sie zunächst die Markov-Wahrscheinlichkeiten abschätzen - vorausgesetzt, es handelt sich um Markov. Siehe die Antwort hier Schätzen der Markov-Kettenwahrscheinlichkeiten

$M$ $M^2$ $M^2$

$M$ $M^2$

Eine andere Möglichkeit wäre zu sehen, ob die Proportionen des Grundzustands: die in A verbrachte Proportionszeit, die in B verbrachte Zeit, mit dem Eigenvektor des Einheitseigenwerts von M übereinstimmen Staat sollte zu dieser Grenze neigen.

— Placidia
quelle

M

$M$

M^{2}

$M^2$

Der letztere Kommentar ist auch sehr interessant, obwohl ich nicht die Zeit habe, die in jedem Zustand meiner beobachteten Sequenzen verbracht wird. Ich habe nur die Gesamtzeit für jede Zeile. Dies kann die Anwendbarkeit dieser Methode einschränken. Was sind deine Gedanken?

— HCAI

1

M^{2}

$M^2$

RE: Gleichgewicht. Ich ging davon aus, dass die Übergänge zu festgelegten Zeitpunkten stattfinden - sagen wir, Sie wechseln jede Sekunde vom aktuellen zum nächsten Zustand. Sie können die Häufigkeit von A-, B-, C- und D-Zuständen in der Nähe der Enden der Sequenzen oder über Sequenzen hinweg bestimmen, um das Grenzverhalten abzuschätzen.

— Placidia,

Wenn Sie in R eigen (M) tun, sollten Sie die Eigenwerte und Eigenvektoren von M erhalten. Ein Eigenwert ist 1. Der entsprechende Eigenvektor sollte proportional zu Ihren stationären Proportionen sein .... wenn Markov.

— Placidia,

2

$X_t$ $\mathbf{P}(t)$ $t$ $t$ $X_t$ $X_{t-7}$ $X_{t-1}$

$X_t$ $X_{t-2}$ $X_{t-1}$ $n$ $X_t$ $X_{t-2}$ $\{X_{t-1} = x_j\}$ $n$ $x_j$ $X_{t-\ell}$ $\ell > 1$ $X_{t-2}$

applysweep $p(X_t \vert X_{t-1}=x_j, X_{t-2} = x_i)$ $i$ $j$ als spaltenindex im spalier soll unter MP zu ähnlichen verteilungen innerhalb einer spalte führen.

Der Junge. 5 des Buches Die statistische Analyse stochastischer Prozesse in der Zeit von JK Lindsey enthält andere Ideen zur Überprüfung von Annahmen.

enter image description here

[## simulates a MC with transition matrix in 'trans', starting from 'ini'
simMC <- function(trans, ini = 1, N) {
  X <- rep(NA, N)
  Pcum <- t(apply(trans, 1, cumsum))
  X[1] <- ini 
  for (t in 2:N) {
    U <- runif(1)
    X[t] <- findInterval(U, Pcum[X[t-1], ]) + 1
  }
  X
}
set.seed(1234)
## transition matrix
P <- matrix(c(0.1, 0.1, 0.1, 0.7,
              0.1, 0.1, 0.6, 0.2,
              0.1, 0.3, 0.2, 0.4,
              0.2, 0.2, 0.3, 0.3),
            nrow = 4, ncol = 4, byrow = TRUE)
N <- 2000
X <- simMC(trans = P, ini = 1, N = N)
## it is better to work with factors
X <- as.factor(X)
levels(X) <- LETTERS[1:4]
## table transitions and normalize each row
Phat <- table(X[1:(N-1)], X[2:N])
Phat <- sweep(x = Phat, MARGIN = 1, STATS = apply(Phat, 1, sum), FUN = "/")
## explicit dimnames
dimnames(Phat) <- lapply(list("X(t-1)=" ,"X(t)="),
                         paste, sep = "", levels(as.factor(X)))
## transition 3-fold contingency array
P3 <- table(X[1:(N-2)], X[2:(N-1)], X[3:N])
dimnames(P3) <- lapply(list("X(t-2)=", "X(t-1)=" ,"X(t)="),
                       paste, sep = "", levels(as.factor(X)))
## apply ONE indendence test 
fisher.test(P3[ , 1, ], simulate.p.value = TRUE)
## plot conditional distr.
library(lattice)
X3 <- data.frame(X = X[3:N], lag1X =  X[2:(N-1)], lag2X = X[1:(N-2)])
histogram( ~ X | lag1X + lag2X, data = X3, col = "SteelBlue3")

]

— Yves
quelle

2

Ich denke, Placida und Mpiktas haben beide sehr nachdenkliche und ausgezeichnete Ansätze gegeben.

Ich antworte, weil ich nur hinzufügen möchte, dass man einen Test erstellen könnte, um zu sehen, ob $P(X_i=x|X_{i-1}=y)$ unterscheidet sich von $P(X_i=x|X_{i-1}=y \text{ and } X_{i-2}=z)$ .

Ich würde Werte für auswählen $x$ , $y$ und $z$ für die es eine große Anzahl von Fällen gibt, in denen der Übergang von $z$ zu $y$ zu $x$ tritt ein. Berechnen Sie Stichprobenschätzungen für beide Wahrscheinlichkeiten. Testen Sie dann die Proportionen. Der schwierige Aspekt dabei ist, die Varianzen der beiden Schätzungen unter der Nullhypothese zu ermitteln, die besagen, dass die Proportionen gleich sind und die Kette stationär und Markov ist. Wenn wir in diesem Fall unter der Nullhypothese nur alle 2-Stufen-Übergänge betrachten und sie mit ihren entsprechenden 3-Stufen-Übergängen vergleichen, aber nur Ergebnisse einschließen, bei denen diese gepaarten Ergebnissätze um mindestens 2 Zeitpunkte voneinander getrennt sind, dann ist die Folge der gemeinsamen Ergebnisse wo Erfolg ist definiert als $z$ zu $y$ zu $x$ Übergang und alle anderen zweistufigen Übergänge zu $x$ als Misserfolge repräsentieren eine Reihe von unabhängigen Bernoulli-Versuchen unter der Nullhypothese. Dasselbe würde für die Definition aller funktionieren $y$ zu $x$ Übergänge als Erfolge und andere einstufige Übergänge zu $x$ als Fehlschläge.

Then the test statistic would be the difference between these estimated proportions. The complication to the standard comparison of the Bernoulli sequences is that they are correlated. But you could do a bootstrap test of binomial proportions in this case.

The other possibility is to construct a two by two table of the two stage and three stage paired outcomes where $0$ is failure and $1$ is success and the cell frequencies are counts for the pairs $(0,0)$ , $(0,1)$ , $(1,0)$ and $(1,1)$ where the first component is the two stage outcome and the second is the corresponding three stage outcome. You can then apply McNemar's test to the table.

— Michael R. Chernick
quelle

I see what you are referring to here although I'm finding the first paragraph very terse however. For example "Compute sample estimates[...], then test for difference in proportions". What do you mean by sample estimates? Surely there would be no variance in

P (X_{i} | X_{i - 1} = y)

$P(X_i|X_{i-1}=y)$ or am I misunderstanding your train of thought?

— HCAI

@user1134241 You mentioned "empirically observed", I assumed that you have data from this stochastic sequence. If you want to estimate P(X

_{i}

$_i$ =x|X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ =y) for each index i-1 where X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ =y, count the number of times X

_{i}

$_i$ = x and divide it by the number of times X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ = y (regardless of what X

_{i}

$_i$ equals). That is an estimate because the observed finite sequence is just a sample of a portion of a sequence of the stochastic process.

— Michael R. Chernick

Lassen Sie mich in Ihrem letzten Absatz fragen, was genau einen Erfolg ausmacht. Wenn Sie einen zweistufigen Übergang sagen: Sagen Sie das?

i \to j \to i

$i\rightarrow j\rightarrow i$ und ein 3-stufiger wäre

i \to j \to k \to i

$i\rightarrow j\rightarrow k\rightarrow i$ ?

— HCAI

1

You could bin the data into evenly spaced intervals, then compute the unbiased sample variances of subsets $\{X_{n+1}:X_n=x_1,X_{n-k}=x_2\}$ . By the law of total variance,

V a r [E (X_{n + 1} | X_{n}, X_{n - k}) | X_{n}] = V a r [X_{n + 1} | X_{n}] - E (V a r [X_{n + 1} | X_{n}])

$\mathrm{Var}[E(X_{n+1}|X_n,X_{n-k})|X_n] = \mathrm{Var}[X_{n+1}|X_n]-E(\mathrm{Var}[X_{n+1}|X_n])$

The LHS, if it is almost zero, provides evidence that the transition probabilities do not depend on $X_{n-k}$ , though it is clearly a weaker statement: e.g., let $X_{n+1}\sim N(X_n,X_{n-1})$ . Taking the expected value of both sides of the above equation, the RHS can be computed from the sample variances (i.e., replacing expected values with averages). If the expected value of the variance is zero then the variance is 0 almost always.

— Luke O'Connor
quelle