Gibt es ein Maß dafür, wie gut eine Markov-Kette Bewegungen zwischen Staaten zulässt?

Definiere

A = (\begin{matrix} .5 & .5 \\ .5 & .5 \end{matrix}), B = (\begin{matrix} .99 & .01 \\ .01 & .99 \end{matrix}), C = (\begin{matrix} .01 & .99 \\ .99 & .01 \end{matrix})

$A = \left( \begin{matrix} .5 & .5 \\ .5 & .5 \end{matrix} \right),\; \; B = \left( \begin{matrix} .99 & .01 \\ .01 & .99 \end{matrix} \right), \; \; C = \left( \begin{matrix} .01 & .99 \\ .99 & .01 \end{matrix} \right)$

Genommen als Markov - Ketten, klar $A$ eine Bewegung zwischen den Staaten besser als $B$ , und $C$ einer Bewegung zwischen den Staaten besser als $A$ .

Gibt es eine Art Maß für den Raum der Markov-Ketten, das misst, wie gut sie Bewegungen zwischen ihren Staaten zulassen? Eine Art Überlastungs- oder Zugänglichkeitsstatistik?

Bearbeiten: Ich weiß über Mischraten Bescheid, aber ich wundere mich über eine Statistik, die auch zur Absorption von Markov-Ketten funktioniert.

markov-process

— Bianca
quelle

Ein Maß wäre die Tendenz, im selben Zustand zu bleiben, was auf grobe Weise durch eine Funktion der Spur

— gemessen werden könnte

Einverstanden. Für das Nicht-Absorbieren dachte ich etwas wie wobei die Summe über allen Zuständen liegt, was die Wahrscheinlichkeit ist, sich von dem aktuellen Zustand zu entfernen, gewichtet mit der Wahrscheinlichkeit, in zu sein dieser Zustand (also im Grunde die Wahrscheinlichkeit, sich zu bewegen). Ich weiß jedoch nicht, wie ich dies auf das Absorbieren ausweiten soll (kein stationärer Abstand), und "eine Funktion der Spur" scheint insofern unvollkommen zu sein, als sie die Wahrscheinlichkeit, in jedem Zustand zu sein, nicht berücksichtigt und sie alle gleich gewichtet.

\sum_{i} π_{i} (1 - p_{i i})

$\sum_{i} \pi_i (1-p_{ii})$

— Bianca

Es scheint klar zu sein, dass jedes nützliche Maß direkt aus den Übergangswahrscheinlichkeiten berechnet werden kann und muss, da diese eine bestimmte Klasse von Ketten definieren. Es wird auch einen gewissen Informationsverlust geben, da im Allgemeinen kein Skalarmaß reversibel ist, um eine Matrix eindeutig zu ergeben. Die Varianz der Wahrscheinlichkeiten ist jedoch ein erster Kandidat, da die Varianz für Null ist und die Varianz für die beiden anderen viel größer ist. Es ist natürlich ein umgekehrtes Maß. Aber wofür möchten Sie diese Maßnahme?

A

$A$

— Nick Cox

Varianz ist ein Kandidat, ja, gibt aber für und die gleiche Zahl an , was nicht die gewünschte Antwort widerspiegelt. Ich nehme an, wir könnten Ideen kombinieren ... könnte es eine Möglichkeit geben, eine signierte Varianz zu erstellen, bei der das Zeichen von der Spur stammt? Meinem Vorgesetzten ist es unangenehm, Details unveröffentlichter Forschung zu veröffentlichen, aber vage: Wir haben eine neue Methode zur Erstellung einer sehr großen Matrix entwickelt, die für die Biologie wichtig ist, und wir möchten zeigen, dass sie einen besseren Fluss zwischen Staaten ermöglicht als die letzte Konstruktion, die manchmal in bestimmten Staaten für längere Zeit stecken blieb.

B

$B$

C

$C$

— Bianca

Wir müssen darüber spekulieren, wonach Sie wirklich suchen, daher wäre eine weitere Erklärung der Motivation dieser Frage willkommen. Ein Gedanke besteht darin, die erwartete Verweilzeit von nicht absorbierenden Zuständen zu berechnen, wobei "Verweilzeit" die Anzahl der Schritte bedeutet, die auftreten, bevor das System aus seinem aktuellen Zustand übergeht. Es gibt direkte Beziehungen zwischen erwarteten Verweilzeiten, mittleren Strömungsgeschwindigkeiten und "Verzögerungsfaktoren" in Ketten, die einen vorbeugenden und diffusiven Transport von Substanzen darstellen, die in Strömungen mitgeführt werden.

— whuber

Antworten:

Vielleicht ist die Leitfähigkeit der Markov-Kette der richtige Begriff. Sei eine Übergangsmatrix mit stationärer Verteilung (in Ihren Fällen ist immer die Gleichverteilung). Die Leitfähigkeit von ist $P\in[0,1]^{n\times n}$ $\pi$ $\pi$ $P$

Φ (P) := min_{S \subset [n], π (S) \leq \frac{1}{2}} \frac{\sum_{i \in S, j \in S^{c}} π (i) \cdot P_{i, j}}{π (S)} .

$\Phi(P):=\min_{S\subset [n], \pi(S)\le\frac{1}{2}}\frac{\sum_{i\in S,j\in S^c} \pi(i)\cdot P_{i,j}}{\pi(S)}.$ Siehe zum Beispiel "Leitfähigkeit und schnelles Mischen von Markov-Ketten" von James King.

Ihre Beispiele ergeben , und . $\Phi(A)=0.5$ $\Phi(B)=0.1$ $\Phi(C)=0.99$

— Tobias Windisch
quelle

Gemäß dem obigen Kommentar von @Bianca gibt die Leitfähigkeit "<s> die gleiche Nummer für B und C an, was nicht die gewünschte Antwort widerspiegelt."

— Mark L. Stone

@ MarkL.Stone: In der vorherigen Version meiner Antwort gab es einen Tippfehler in der jetzt korrigiert wurde.

Φ (C)

$\Phi(C)$

— Tobias Windisch

Auf dieser Grundlage "ziehe" ich hiermit meinen obigen Kommentar zurück, habe ihn jedoch nicht gelöscht, um Ihren Kommentar nicht "im linken Feld" hängen zu lassen.

— Mark L. Stone

Wenn der Übergangsgraph stark verbunden ist (dh bei gegebenem Anfangszustand ist jeder andere Zustand mit p> 0 erreichbar, möglicherweise über Zwischenzustände), hängt die Wahrscheinlichkeit, das System in einem gegebenen Zustand zu finden, mit der Zeit bis ins Unendliche nicht davon ab der Ausgangszustand. Das heißt, es besteht die Möglichkeit, dass das System nach i Schritten im Zustand X findet, was zu einer Konstanten konvergiert, die nur eine Funktion der Übergangsmatrix ist (Die stationäre Verteilung in Tobias Antworten).

p_{i} (X)

$p_i(X)$

p (X)

$p(X)$

π

$\pi$

Für alle 3 Ihrer Beispiele ist dies einfach (.5, .5), da beide Zustände gleich wahrscheinlich sind. Dies ist sinnvoll: aber auch aber im Allgemeinen muss dies nicht gelten. Nicht alle Staaten müssen gleich wahrscheinlich sein. Einfaches Beispiel: $\pi$

(\begin{matrix} .5 \\ .5 \end{matrix}) (\begin{matrix} .5 & .5 \\ .5 & .5 \end{matrix}) = (\begin{matrix} .5 \\ .5 \end{matrix})

$\left( \begin{matrix} .5 \\ .5 \end{matrix} \right) \left( \begin{matrix} .5 & .5 \\ .5 & .5 \end{matrix} \right) = \left( \begin{matrix} .5 \\ .5 \end{matrix} \right)$

(\begin{matrix} .5 \\ .5 \end{matrix}) (\begin{matrix} .9 & .1 \\ .1 & .9 \end{matrix}) = (\begin{matrix} .5 \\ .5 \end{matrix})

$\left( \begin{matrix} .5 \\ .5 \end{matrix} \right) \left( \begin{matrix} .9 & .1 \\ .1 & .9 \end{matrix} \right) = \left( \begin{matrix} .5 \\ .5 \end{matrix} \right)$

(\begin{matrix} .5 & .5 & 0 \\ .25 & .5 & .25 \\ 0 & .5 & .5 \end{matrix})

$\left( \begin{matrix} .5 & .5 & 0 \\ .25 & .5 & .25 \\ 0 & .5 & .5 \end{matrix} \right)$ mit Wahrscheinlichkeiten (.25, .5, .25). Sie können sich dies als ein Triplett von links <-> Mitte <-> Rechts mit einer Wahrscheinlichkeit von 50% vorstellen, sich zu bewegen, jedoch nicht direkt von links nach rechts. Da Sie immer durch die Mitte gehen müssen, ist es am wahrscheinlichsten.

Wie die Kommentare zu der Frage bereits gezeigt haben, können Sie diese Wahrscheinlichkeit verwenden, um die Chancen abzuwägen, in jedem Zustand zu bleiben.

In Ihren einfachen Beispielen wären die jeweiligen Ergebnisse 0,5, 0,99 und 0,1, einfach weil die Chancen, im gleichen Zustand zu bleiben (Werte der Diagonale), auf der Diagonale gleich sind. Für nicht triviale Matrizen wäre dies ein gewichteter Durchschnitt der Diagonale.

Dies bedeutet, dass die genauen Werte außerhalb der Diagonale keine Rolle spielen. Ich glaube, dies spiegelt die Absicht der Frage wider, die auch nicht zwischen verschiedenen Arten von Zustandsübergängen unterscheidet.

— MSalters
quelle