Markov-Prozess nur in Abhängigkeit vom vorherigen Status

Ich möchte nur, dass jemand mein Verständnis bestätigt oder mir etwas fehlt.

Die Definition eines Markov-Prozesses besagt, dass der nächste Schritt nur vom aktuellen Status und nicht von früheren Status abhängt. Nehmen wir also an, wir hatten einen Zustandsraum von a, b, c, d und gehen von a-> b-> c-> d aus. Das heißt, der Übergang zu d konnte nur von der Tatsache abhängen, dass wir uns in c befanden.

Stimmt es jedoch, dass Sie das Modell einfach komplexer machen und diese Einschränkung umgehen könnten? Mit anderen Worten, wenn Ihr Statusraum jetzt aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd wäre, bedeutet dies, dass Ihr neuer Statusraum zum wird vorheriger Zustand kombiniert mit dem aktuellen Zustand, dann wäre der obige Übergang * a-> ab-> bc-> cd und so ist der Übergang zu cd (äquivalent im vorherigen Modell zu d) nun "abhängig" von einem Zustand, Wenn anders modelliert, ist dies ein vorheriger Zustand (ich bezeichne ihn im Folgenden als Unterzustand).

Habe ich recht, dass man es "von früheren Zuständen abhängig machen kann (Unterzustand)" (ich weiß technisch nicht, dass es im neuen Modell kein realer Zustand mehr ist), indem man die markov-Eigenschaft erweitert der Staatsraum wie ich? Man könnte also tatsächlich einen Markov-Prozess erstellen, der von einer beliebigen Anzahl vorheriger Unterzustände abhängen könnte.

Technisch gesehen sind beide von Ihnen beschriebenen Prozesse Markov-Ketten. Der Unterschied besteht darin, dass die erste eine Markov-Kette erster Ordnung ist, während die zweite eine Markov-Kette zweiter Ordnung ist. Und ja, Sie können eine Markov-Kette zweiter Ordnung in eine Markov-Kette erster Ordnung umwandeln, indem Sie die Definition des Zustandsraums entsprechend ändern. Lassen Sie mich anhand eines Beispiels erklären.

Angenommen, wir möchten das Wetter als stochastischen Prozess modellieren und nehmen an, dass es an einem bestimmten Tag regnerisch, sonnig oder bewölkt sein kann. Sei das Wetter an einem bestimmten Tag und bezeichnen wir die möglichen Zustände mit den Symbolen R (für regnerisch), S (sonnig) und C (für bewölkt).$W_t$$R$$S$$C$

Markov-Kette erster Ordnung

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

Markov-Kette zweiter Ordnung

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

Die Markov-Kette zweiter Ordnung kann in eine Markov-Kette erster Ordnung transformiert werden, indem der Zustandsraum wie folgt neu definiert wird. Definieren:

$Z_{t-1,t}$

$RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

Das Obige ist eindeutig eine Markov-Kette erster Ordnung in dem neu definierten Zustandsraum. Der einzige Unterschied zur Markov-Kette zweiter Ordnung besteht darin, dass Ihre neu definierte Markov-Kette mit zwei anfänglichen Startzuständen angegeben werden muss, dh, die Kette muss mit einigen Annahmen über das Wetter am Tag 1 und am Tag 2 gestartet werden.

Die Definition eines Markov-Prozesses besagt, dass der nächste Schritt nur vom aktuellen Status und nicht von früheren Status abhängt.

$n^{th}$$n-1$

$n^{th}$$n$$n^{th}$$k$$O(k^{2n})$

Vielleicht möchten Sie einen Blick auf aktuelle Veröffentlichungen wie die multivariaten Markov-Ketten höherer Ordnung und ihre Anwendungen werfen, da dieses Feld sich rasant weiterentwickelt.