Wie hoch ist bei zwei absorbierenden Markov-Ketten die Wahrscheinlichkeit, dass eine vor der anderen endet?

Ich habe zwei verschiedene Markov-Ketten mit jeweils einem absorbierenden Zustand und einer bekannten Ausgangsposition. Ich möchte die Wahrscheinlichkeit bestimmen, dass Kette 1 in weniger Schritten einen absorbierenden Zustand erreicht als Kette 2.

Ich denke, ich kann die Wahrscheinlichkeit berechnen, nach n Schritten einen absorbierenden Zustand in einer bestimmten Kette zu erreichen: Bei einer Übergangsmatrix beträgt die Wahrscheinlichkeit, nach Schritten absorbiert zu werden, wobei der Startzustand und ist absorbierender Zustand. $P$ $n$ $P^n_{ij}$ $i$ $j$

Ich bin mir allerdings nicht sicher, wohin ich von hier aus gehen soll. Analoge Probleme, die ich gesehen habe, betreffen Würfel (z. B. das Würfeln einer Summe von 7 vor einer Summe von 8), aber das ist einfacher zu lösen, da die Wahrscheinlichkeit, eine bestimmte Summe zu würfeln, konstant und unabhängig von der Anzahl der bisher unternommenen Schritte ist.

probability markov-chain transition-matrix

— Jeff
quelle

Führen Sie die Ketten parallel. Definieren Sie drei Absorptionszustände in der resultierenden Produktkette:

Die erste Kette erreicht einen absorbierenden Zustand, die zweite jedoch nicht.
Die zweite Kette erreicht einen absorbierenden Zustand, die erste jedoch nicht.
Beide Ketten erreichen gleichzeitig einen absorbierenden Zustand.

Die begrenzenden Wahrscheinlichkeiten dieser drei Zustände in der Produktkette geben die Chancen von Interesse.

Diese Lösung beinhaltet einige (einfache) Konstruktionen. Wie in der Frage sei eine Übergangsmatrix für eine Kette $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ $\mathcal P$ . Wenn sich die Kette im Zustand , gibt die Wahrscheinlichkeit eines Übergangs in den Zustand . Ein absorbierender Zustand geht mit Wahrscheinlichkeit zu sich selbst über . $i$ $P_{ij}$ $j$ $1$

Jeder Zustand kann absorbiert werden, wenn die Zeile durch einen Indikatorvektor $i$ $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ mit einer in Position . $(0,0,\ldots,0,1,0,\ldots,0)$ $1$ $i$
Jede Menge absorbierender Zustände kann zusammengeführt werden, indem eine neue Kette deren Zustände $A$ $\mathcal{P}/A$ . Die Übergangsmatrix ist gegeben durch $\{i\,|\, i\notin A\}\cup \{A\}$

$(P. /. EIN)_{ich j} = \begin{array}{ll} {\begin{cases} {P.}_{ich j} & ich \notin EIN, j \notin EIN \\ \sum_{k \in EIN} {P.}_{ich k} & ich \notin EIN, j = EIN \\ 0 & ich = EIN, j \notin EIN \\ 1 & ich = j = EIN . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
Dies läuft darauf hinaus, die Spalten von , die entsprechen, zu summieren und die Zeilen, die entsprechen, durch eine einzelne Zeile zu ersetzen, die zu sich selbst übergeht. $\mathbb{P}$ $A$ $A$
Das Produkt zweier Ketten in den Zuständen und in den Zuständen mit den Übergangsmatrizen bzw. ist eine Markov-Kette in den Zuständen $\mathcal{P}$ $S_P$ $\mathcal{Q}$ $S_Q$ $\mathbb{P}$ $\mathbb{Q}$ mit Übergangsmatrix $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$

$(P. \otimes Q.)_{(ich, j), (k, l)} = {P.}_{ich k} {Q.}_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
Tatsächlich führt die Produktkette die beiden Ketten parallel aus, verfolgt getrennt, wo sich jede befindet, und führt unabhängig voneinander Übergänge durch.

Ein einfaches Beispiel kann diese Konstruktionen verdeutlichen. Angenommen Polly eine Münze mit einer Chance ist Flipping Landeköpfe. Sie plant dies, bis sie einen Kopf beobachtet. Die Zustände für den Münzwurfprozess sind $p$ $S_P = \{\text{T},\text{H}\}$ was die Ergebnisse des letzten Wurfs darstellt: für Schwänze, für Köpfe. Durch die Planung, an den Köpfen anzuhalten, wird Polly die erste Konstruktion anwenden, indem einem absorbierenden Zustand gemacht wird. Die resultierende Übergangsmatrix ist $\text{T}$ $\text{H}$ $\text H$

P. = (\begin{matrix} 1 - - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

Es beginnt in einem zufälligen Zustand , der durch den ersten Wurf gegeben wird. $(1-p,p)$

Pünktlich zu Polly wird Quincy eine faire Münze werfen. Er will aufhören, sobald er zwei Köpfe hintereinander sieht. Seine Markov-Kette muss daher sowohl das vorhergehende als auch das aktuelle Ergebnis verfolgen. Es gibt vier solcher Kombinationen von zwei Köpfen und zwei Schwänzen, die ich zum Beispiel als " " abkürzen werde , wobei der erste Buchstabe das vorherige Ergebnis und der zweite Buchstabe das aktuelle Ergebnis ist. Quincy wendet Konstruktion (1) an, um zu machen $\text{TH}$ einem absorbierenden Zustand. Danach stellt er fest, dass er nicht wirklich vier Zustände benötigt: Er kann seine Kette auf drei Zustände vereinfachen: bedeutet, dass das aktuelle Ergebnis Schwänze ist, bedeutet, dass das aktuelle Ergebnis Köpfe ist, und $\text{HH}$ $\text{T}$ $\text{H}$ $\text{X}$ bedeutet, dass die letzten beiden Ergebnisse beide Köpfe waren - dies ist der absorbierende Zustand. Die Übergangsmatrix ist

Q. = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

Die Produktkette läuft in sechs Zuständen: . Die Übergangsmatrix ist einTensorproduktvon und und ebenso einfach zu berechnen. Zum Beispiel $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ $\mathbb{P}$ $\mathbb{Q}$ ist die Chance, dass Polly einen Übergang vonnachund Quincy gleichzeitig (und unabhängig) einen Übergang vonnach. Die erstere hat eine Chance vonund die letztere eine Chance von. Da die Ketten unabhängig voneinander laufen, multiplizieren sich diese Chancen und ergeben. Die vollständige Übergangsmatrix ist $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ $\text T$ $\text T$ $\text T$ $\text H$ $1-p$ $1/2$ $(1-p)/2$

P. \otimes Q. = (\begin{matrix} \frac{1 - - p}{2} & \frac{1 - - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - - p}{2} & 0 & \frac{1 - - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

Es liegt in Blockmatrixform mit Blöcken vor, die der zweiten Matrix : $\mathbb Q$

P. \otimes Q. = (\begin{matrix} {P.}_{11} Q. & {P.}_{12} Q. \\ {P.}_{21} Q. & {P.}_{22} Q. \end{matrix}) = (\begin{matrix} (1 - - p) Q. & p Q. \\ 0 & Q. \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

Polly und Quincy konkurrieren darum, wer zuerst ihr Ziel erreicht. Der Gewinner ist Polly, wenn zuerst ein Übergang zu wobei nicht . Der Gewinner ist Quincy, wenn zum ersten Mal ein Übergang zu . und wenn bevor einer dieser eintreten kann, ein Übergang zu , ist das Ergebnis ein Unentschieden. Um den Überblick zu behalten, werden wir die Zustände und beide absorbiert (über die Konstruktion (1)) und sie dann zusammenführt (über die Konstruktion (2)). Die resultierende Übergangsmatrix, geordnet nach den Zuständen $(\text{H},\text{*})$ $\text{*}$ $\text X$ $(\text{T},\text{X})$ $(\text{H},\text{X})$ $(\text{H},\text{T})$ $(\text{H},\text{H})$ ist $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$

R. = (\begin{matrix} \frac{1 - - p}{2} & \frac{1 - - p}{2} & 0 & p & 0 \\ \frac{1 - - p}{2} & 0 & \frac{1 - - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

$(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$

$n\to \infty$

μ \cdot {R.}^{n} \to \frac{1}{1 + 4 p - - p^{2}} (0, 0, (1 - - p)^{2}, p (5 - - p), p (1 - - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

$(T,X), \{(H,T), (H,H)\}, (H,X)$ $(1-p)^2:p(5-p):p(1-p)$

Zahl

Als Funktion von $p$

— whuber
quelle

Sehr ordentliches Beispiel, danke dafür. Ich arbeite immer noch an den Details, um sie selbst zu sehen. Nur eine Frage: Hier haben wir angenommen, dass die beiden Ereignisse (Polly- und Quincy-Würfe) gleichzeitig stattfinden. Wie viel Unterschied würde es machen, wenn wir sie sequentiell machen oder jedes Mal zufällig auswählen, wer als nächstes wirft?

— user929304

@ user929304 Sie würden unterschiedliche Antworten erhalten, möglicherweise im Wesentlichen. Angenommen, P und Q führen eine Kette, in der die Zustände in Teilmengen A und B unterteilt sind, in denen alle Übergänge von A nach B und alle von B nach A gehen. Lassen Sie P und Q beide bei Zuständen in A beginnen In der Produktkette wechseln beide gleichzeitig zwischen A und B, aber die Ketten mit sequentieller und zufälliger Auswahl unterbrechen dieses invariante Muster.

— whuber