Voraussichtliche Häufigkeit, die Sie in einem Zustand einer absorbierenden Markov-Kette verbracht haben, angesichts des möglichen absorbierenden Zustands

Es ist bekannt, dass, wenn die Matrix der Übergangswahrscheinlichkeiten für den Übergangszustand ist und dann beschreibt die erwartete Häufigkeit, mit der sich die Kette im Zustand , vorausgesetzt, sie beginnt im Zustand . (Quelle: Wiki absorbierende Markov-Kette). $Q$

N = \sum_{n = 0}^{\infty} Q^{n} = (I - Q)^{- 1}

$N = \sum_{n=0}^{\infty} Q^n = (I - Q)^{-1}$

N_{i j}

$N_{ij}$

j

$j$

i

$i$

Ich suche nach der erwarteten Häufigkeit, mit der sich die Kette im Zustand $j$ , da sie im Zustand $i$ beginnt $\textbf{and}$ schließlich im Zustand absorbiert $k$ .

Motivation:

Ich versuche, die Ausbreitung eines mutierten Gens in einer Population zu modellieren, und dazu verwende ich eine Markov-Kette. Die absorbierenden Zustände sind $0$ und $M$ , um das Gen darzustellen, das in jedem Mitglied der Bevölkerung stirbt oder existiert. Ich möchte berechnen, wie oft eine bestimmte Anzahl von Menschen dieses Gen hat, bevor es ausstirbt, da es ausstirbt.

expected-value stochastic-processes markov-process

— Samuel Reid
quelle

An andere, die dies vielleicht zitieren möchten: Ich habe in Kemeny & Snells Buch eine Referenz für NRHs Antwort gefunden.

— Samuel Reid

Unter Verwendung der Wikipedia- Notation wird die vollständige Matrix der Übergangswahrscheinlichkeiten als wobei die Zustände so organisiert sind, dass die Die letzten Zustände sind alle absorbierend. Im Beispiel des OP aus der Populationsgenetik würden die Staaten als .

P = (\begin{array}{cc} Q & R \\ 0 & I \end{array})

$P = \left(\begin{array}{cc} Q & R \\ 0 & I \end{array}\right)$

1, 2, \dots, M - 1, 0, M

$1, 2, \ldots, M-1, 0, M$

Wenn die erste Zeit bezeichnet die Markov - Kette die Menge der absorbierenden Zustände eintritt, die Absorptionswahrscheinlichkeit für den Zustand gegeben , daß die Markov - Kette beginnt in Zustand ist Beachten Sie, dass wenn für einen Übergangszustand dann und bis zur Zeithomogenität der Markov-Kette Aus Wikipedia folgt, dass $\tau$ $k$ $i$

B_{i k} := P (X_{τ} = k ∣ X_{0} = i) .

$B_{ik} := P(X_{\tau} = k \mid X_0 = i).$

X_{n} = j

$X_n = j$

j

$j$

τ > n

$\tau > n$

P (X_{τ} = k ∣ X_{n} = j) = B_{j k} .

$P(X_{\tau} = k \mid X_n = j) = B_{jk}.$

B_{i k} = (N R)_{i k} .

$B_{ik} = (NR)_{ik}.$

Die erwartete Anzahl von Besuchen, um bedingt an der Kette in beginnt und in absorbiert wird, ist Jetzt können die Wahrscheinlichkeiten in der unendlichen Summe wie folgt umgeschrieben werden: $j$ $i$ $k$

ξ_{i k} (j) = E (\sum_{n = 0}^{\infty} 1 (X_{n} = j) | X_{0} = i, X_{τ} = k) = \sum_{n = 0}^{\infty} P (X_{n} = j ∣ X_{0} = i, X_{τ} = k) .

$\xi_{ik}(j) = E\left( \sum_{n=0}^{\infty} 1(X_n = j) \ \middle| \ X_0 = i, X_{\tau} = k\right) = \sum_{n=0}^{\infty} P(X_n = j \mid X_0 = i, X_{\tau} = k) .$

\begin{aligned} P (X_{n} = j ∣ X_{0} = i, X_{τ} = k) & = \frac{P (X_{τ} = k, X_{n} = j ∣ X_{0} = i)}{P (X_{τ} = k ∣ X_{0} = i)} \\ = \frac{P (X_{τ} = k ∣ X_{n} = j, X_{0} = i) P (X_{n} = j ∣ X_{0} = i)}{P (X_{τ} = k ∣ X_{0} = i)} \\ = \frac{P (X_{τ} = k ∣ X_{n} = j)}{P (X_{τ} = k ∣ X_{0} = i)} (Q^{n})_{i j} \\ = \frac{B_{j k}}{B_{i k}} (Q^{n})_{i j} . \end{aligned}

$\begin{align*} P(X_n = j \mid X_0 = i, X_{\tau} = k) & = \frac{P(X_{\tau} = k, X_n = j \mid X_0 = i)}{P(X_{\tau} = k \mid X_0 = i)} \\ & = \frac{P(X_{\tau} = k \mid X_n = j, X_0 = i)P(X_n = j \mid X_0 = i)}{P(X_{\tau} = k \mid X_0 = i)} \\ & = \frac{P(X_{\tau} = k \mid X_n = j)}{P(X_{\tau} = k \mid X_0 = i)} (Q^n)_{ij} \\ & = \frac{B_{jk}}{B_{ik}}(Q^n)_{ij}. \end{align*}$ Daraus erhalten wir die Formel dem die Absorptionswahrscheinlichkeiten und berechnet werden können und Verwendung der obigen Formel.

\begin{aligned} ξ_{i k} (j) & = \frac{B_{j k}}{B_{i k}} \sum_{n = 0}^{\infty} (Q^{n})_{i j} = \frac{B_{j k}}{B_{i k}} N_{i j}, \end{aligned}

$\begin{align*} \xi_{ik}(j) & = \frac{B_{jk}}{B_{ik}}\sum_{n=0}^{\infty} (Q^n)_{ij} = \frac{B_{jk}}{B_{ik}}N_{ij}, \end{align*}$

B_{i j}

$B_{ij}$

B_{i k}

$B_{ik}$

N

$N$

R

$R$

— NRH
quelle