Wie sehen Sie, dass eine Markov-Kette nicht reduzierbar ist?

12

Ich habe einige Probleme, die Markov-Ketteneigenschaft nicht reduzierbar zu verstehen .

Irreduzibel soll bedeuten, dass der stochastische Prozess "von jedem Zustand in jeden Zustand übergehen kann".

Aber was definiert, ob es von Zustand zu Zustand gehen kann oder nicht? $i$ $j$

Die Wikipedia-Seite gibt die Formalisierung:

Der Zustand ist vom Zustand aus zugänglich (geschrieben ) , wenn eine ganze Zahl st $j$ $i\rightarrow j$ $i$ $n_{ij}>0$

P (X_{n_{i j}} = j | X_{0} = i) = p_{i j}^{(n_{i j})} > 0

$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$

dann ist die Kommunikation, wenn und . $i\rightarrow j$ $j \rightarrow i$

Daraus folgt irgendwie die Irreduzibilität .

stochastic-processes markov-process

— mavavilj
quelle

Was ist die Intuition über "Zugänglichkeit"? Ich verstehe nicht, warum eine bedingte Wahrscheinlichkeit etwas "zugänglich" macht?

— Mavavilj

j

$j$

i

$i$

i

$i$

n

$n$

0

$0$

\forall

$\forall$

\exists

$\exists$

= 0

$=0$

\neq 0

$\neq 0$

> 0

$>0$

12

Hier sind drei Beispiele für Übergangsmatrizen, die ersten beiden für den reduzierbaren Fall, die letzten für den irreduziblen Fall.

\begin{array}{rcl} P_{1} & = & (\begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array}) \\ P_{2} & = & (\begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1 \end{array}) \end{array}

$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$

P_{1}

$P_1$

$P_2$

P_{3} = (\begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0 \end{array})

$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$ In diesem Beispiel können Sie in einem beliebigen Status beginnen und trotzdem einen anderen Status erreichen, allerdings nicht unbedingt in einem Schritt.

— Christoph Hanck
quelle

5

$j$ $i$ $i \to j$ $n\geq 0$

p_{i j}^{n} = P (X_{n} = j ∣ X_{0} = i) > 0

$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$

i

$i$

j

$j$

n

$n$

p_{i j}^{n}

$p^n_{ij}$

$i\to j$ $j\to i$ $i$ $j$ $i\leftrightarrow j$

— nmerci
quelle

n

$n$

p_{i j}^{n}

$p_{ij}^n$

P = (p_{i j})

$\mathbf P=(p_{ij})$

p_{i j}^{n}

$p_{ij}^n$

i j

$ij$

P^{n}

$\mathbf P^n$

n

$n$

2

$i$ $j$ $i$ $j$ $\cdots$ $j$ $i$

$i\rightarrow j$ $j$ $i$ $m>0$ $p_{ij}^{(m)}>0$

$j\rightarrow i$ $n>0$ $p_{ji}^{(n)}>0$

$i\rightarrow j$ $j\rightarrow i$ $i$ $j$ $i \leftrightarrow j$ $m>0,\;\; n>0$ $p_{ij}^{(m)}>0$ $p_{ji}^{(n)}>0$

Wenn alle Zustände in der Markov-Kette zu einer geschlossenen Kommunikationsklasse gehören , wird die Kette als irreduzible Markov-Kette bezeichnet . Irreduzibilität ist eine Eigenschaft der Kette.

In einer irreduziblen Markov-Kette kann der Prozess von jedem Zustand in jeden Zustand übergehen, unabhängig von der Anzahl der erforderlichen Schritte.

— LVRao
quelle

1

Einige der vorhandenen Antworten scheinen mir falsch zu sein.

Wie in Stochastic Processes von J. Medhi (Seite 79, Ausgabe 4) zitiert , ist eine Markov-Kette nicht reduzierbar, wenn sie keine andere geeignete "geschlossene" Teilmenge als den Zustandsraum enthält.

Wenn es also in Ihrer Übergangswahrscheinlichkeitsmatrix eine Teilmenge von Zuständen gibt, so dass Sie keine anderen Zustände außer diesen Zuständen erreichen (oder darauf zugreifen) können, ist die Markov-Kette reduzierbar. Ansonsten ist die Markov-Kette nicht reduzierbar.

— Kosmisch
quelle

-1

Zunächst ein Wort der Warnung: Sehen Sie sich niemals eine Matrix an, es sei denn, Sie haben einen ernsthaften Grund dafür: Ich kann mir nur vorstellen, nach falsch eingegebenen Ziffern zu suchen oder in einem Lehrbuch zu lesen.

$P$ $\exp(P)$ $P$ $P^n$ $n$

Irreduzibilität bedeutet: Sie können in einer endlichen Anzahl von Schritten von jedem Zustand in jeden anderen Zustand wechseln.

$P_3$

— Titus
quelle

1

i

$i$

j

$j$

1

Sie müssen wirklich Ihren Lehrer fragen. Er wird dich nicht essen, weißt du?

— Titus

e^{P_{i j}}

$e^{P_{ij}}$

Ich beziehe mich auf die Matrix Exponential

— Titus