Was ist der Unterschied zwischen "begrenzenden" und "stationären" Verteilungen?

Ich mache eine Frage zu Markov-Ketten und die letzten beiden Teile sagen Folgendes:

Besitzt diese Markov-Kette eine begrenzende Verteilung? Wenn Ihre Antwort "Ja" ist, finden Sie die Grenzverteilung. Wenn Sie mit "Nein" antworten, erklären Sie, warum.

Besitzt diese Markov-Kette eine stationäre Verteilung? Wenn Ihre Antwort "Ja" ist, finden Sie die stationäre Verteilung. Wenn Sie mit "Nein" antworten, erklären Sie, warum.

Was ist der Unterschied? Früher dachte ich, die Grenzverteilung wäre, als Sie sie mit berechnet haben, aber dies ist die -te Stufen-Übergangsmatrix. Sie berechneten die Grenzverteilung mit , was ich für die stationäre Verteilung hielt. $P = CA^n C^{-1}$ $n$ $\Pi = \Pi P$

Welches ist welches dann?

markov-process

— Kaish
quelle

Ihr Lehrbuch macht möglicherweise einen Unterschied, der nicht universell ist: In den Anmerkungen von Karl Sigman zu Grenzverteilungen werden beispielsweise "begrenzende" und "stationäre" Verteilungen als synonym definiert (Definition 2.3 am Ende von S. 5). Daher müssen Sie die Definitionen in Ihrem Lehrbuch konsultieren, um den Unterschied festzustellen.

— Whuber

@whuber Es sagt so etwas wie und das gibt es nicht. Dann heißt es: "Auch wenn die Grenzverteilung nicht existiert, so ist sie doch die stationäre. Sei

die stationäre Verteilung ..." Aber ich garantieren Ihnen, die Grenzverteilung in der Frage vorher zu berechnen, sie löste es so. Macht das für dich Sinn?

lim_{n \to \infty} P_{i i}^{(n)}

$\lim_{n \rightarrow \infty} P_{ii}^{(n)}$

Π = (π_{0}, π_{1}, . . ., π_{n})

$\Pi = (\pi_0, \pi_1, ... ,\pi_n)$

— Kaish

@whuber Eigentlich bin ich jetzt ziemlich verwirrt, weil sie in der vorherigen Frage zur einschränkenden Verteilung die

π_{0} + π_{1} + π_{2} = 1

$\pi_0 + \pi_1 + \pi_2 = 1$ Gleichheit nicht erfüllen , also ist das vielleicht anders?

— Kaish

Eine stationäre Verteilung ist eine solche, die über die Zeit stabil ist. Soweit mir bekannt ist, ist die Grenzverteilung einer Markov-Kette stationär, und wenn eine Markov-Kette eine stationäre Verteilung hat, ist sie auch eine Grenzverteilung.

— Shadowtalker

Antwort hier von Andreas könnte helfen, quora.com/…

— Siddharth Shakya

Antworten:

Aus einer Einführung in die stochastische Modellierung von Pinsky und Karlin (2011):

Eine Grenzverteilung ist, wenn sie existiert, immer eine stationäre Verteilung, aber das Gegenteil ist nicht der Fall. Es kann eine stationäre Verteilung existieren, aber keine einschränkende Verteilung. Beispielsweise gibt es keine einschränkende Verteilung für die periodische Markov-Kette, deren Übergangswahrscheinlichkeitsmatrix aber ist eine stationäre Verteilung, da (S. 205).
$P = ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖$ $\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$ $\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ $(\frac{1}{2}, \frac{1}{2}) ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖ = (\frac{1}{2}, \frac{1}{2})$ $\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$

In einem frühen Abschnitt hatten sie bereits eine „definierte Begrenzung Wahrscheinlichkeitsverteilung “ durch $\pi$

$lim_{n \to \infty} P_{ich j}^{(n)} = π_{j} f O r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$

und gleichwertig

$lim_{n \to \infty} \Pr {X_{n} = j | X_{0} = i} = π_{j} > 0 f o r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$ (p. 165).

Das obige Beispiel oszilliert deterministisch und weist daher keine Begrenzung auf, wie die Sequenz keine Begrenzung aufweist. $\{1,0,1,0,1,\dots\}$

Sie stellen fest, dass eine reguläre Markov-Kette (in der alle n-Stufen-Übergangswahrscheinlichkeiten positiv sind) immer eine begrenzende Verteilung aufweist und dass es sich um die eindeutige nichtnegative Lösung für handeln muss

$π_{j} = \sum_{k = 0}^{N} π_{k} P_{k j}, j = 0, 1, \dots, N, \sum_{k = 0}^{N} π_{k} = 1$ $\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$ (S. 168 )

Dann schreiben sie auf dieselbe Seite wie im Beispiel

Jede Menge die (4.27) erfüllt, wird als stationäre Wahrscheinlichkeitsverteilung der Markov-Kette bezeichnet. Der Begriff "stationär" leitet sich von der Eigenschaft ab, dass eine Markov-Kette, die gemäß einer stationären Verteilung gestartet wurde, zu jedem Zeitpunkt dieser Verteilung folgt. Formal, wenn , dann für alle . $(\pi_i)_{i=0}^{\infty}$ $\operatorname{Pr}\{X_0=i\}=\pi_i$ $\operatorname{Pr}\{X_n=i\}=\pi_i$ $n=1,2,\dots$

Dabei ist (4.27) die Menge der Gleichungen

$π_{ich} \geq 0, \sum_{ich = 0}^{\infty} π_{ich} = 1, ein n d π_{j} = \sum_{ich = 0}^{\infty} π_{ich} P_{ich j} .$ $\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$

Das ist genau die gleiche Stationaritätsbedingung wie oben, außer jetzt mit einer unendlichen Anzahl von Zuständen.

Mit dieser Definition der Stationarität kann die Aussage auf Seite 168 rückwirkend angepasst werden als:

Die Grenzverteilung einer regulären Markov-Kette ist eine stationäre Verteilung.
Wenn die Grenzverteilung einer Markov-Kette eine stationäre Verteilung ist, ist die stationäre Verteilung eindeutig.

— Shadowtalker
quelle

Können Sie klarstellen, was Sie unter "Übergangswahrscheinlichkeiten ändern sich nicht im Laufe der Zeit" für die Stationarität verstehen? Sowohl bei der begrenzenden als auch bei der stationären Verteilung geht es um die Wahrscheinlichkeiten über Zustände.

— Juho Kokkala

Ja, ich sehe, dass Sie Ihre eigene Antwort geschrieben haben, aber ich habe meine neu organisiert, um korrekter zu sein.

— Shadowtalker

Ich verstehe es immer noch nicht. Ich meine, was meinst du, wenn du sagst "außer jetzt mit einer unendlichen Anzahl von Zuständen ..."? Können Sie das bitte näher erläutern?

— Roni

@roni die beiden Ausdrücke sind identisch, wenn Sie

N = \infty

$N=\infty$

— shadowtalker

Im ersten hervorgehobenen Block ist die stationäre Verteilung für das Beispiel, sie hat jedoch keine einschränkende Verteilung, da oszilliert und daher keinen stationären Zustand hat. Bedeutet dies, dass es nicht die Existenz eines stationären Zustands garantiert, wenn nur die stationäre Verteilung berechnet wird?

π = (1 / 2, 1 / 2)

$\pi=(1/2,1/2)$

P^{n}

$P^{n}$

— Guoyang Qin

Eine stationäre Verteilung ist eine solche Verteilung , dass , wenn die Verteilung über Zustände in Schritt ist , dann ist auch die Verteilung über Zustände im Schritt ist . Das heißt, Eine Grenzverteilung ist eine solche Verteilung dass die Verteilung über Zustände unabhängig von der Anfangsverteilung gegen konvergiert als die Anzahl von Schritte gehen bis unendlich: unabhängig von $\pi$ $k$ $\pi$ $k+1$ $\pi$

π = π P .

$\begin{equation} \pi = \pi P. \end{equation}$

π

$\pi$

π

$\pi$

lim_{k \to \infty} π^{(0)} P^{k} = π,

$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$

π^{(0)}

$\pi^{(0)}$ . Betrachten wir zum Beispiel eine Markov-Kette, deren zwei Zustände die Seiten einer Münze . Jeder Schritt besteht aus dem Umdrehen der Münze (mit Wahrscheinlichkeit 1). Beachten Sie, dass bei der Berechnung der Zustandsverteilungen keine vorherigen Schritte erforderlich sind, dh, der Typ, der die Wahrscheinlichkeiten berechnet, sieht die Münze nicht. Die Übergangsmatrix lautet also Wenn wir die Münze zuerst durch zufälliges Wenden initialisieren ( ), folgen auch alle folgenden Zeitschritte dieser Verteilung. (Wenn Sie eine faire Münze werfen und dann auf den Kopf stellen, beträgt die Wahrscheinlichkeit für Köpfe immer noch ). Somit,

{h e a d s, t a i l s}

$\{heads, tails\}$

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$

π^{(0)} = (\begin{matrix} 0.5 & 0.5 \end{matrix})

$\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$

0.5

$0.5$

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ ist eine stationäre Verteilung für diese Markov-Kette.

Diese Kette hat jedoch keine einschränkende Verteilung: Nehmen wir an, wir initialisieren die Münze so, dass sie mit einer Wahrscheinlichkeit von Kopf ist . Da dann alle nachfolgenden Zustände durch den Anfangszustand bestimmt werden, ist der Zustand nach einer geraden Anzahl von Schritten Köpfe mit einer Wahrscheinlichkeit von und nach einer ungeraden Anzahl von Schritten ist der Zustand Köpfe mit einer Wahrscheinlichkeit von . Dies gilt unabhängig davon, wie viele Schritte unternommen werden, sodass die Verteilung über Zustände keine Begrenzung hat. $2/3$ $2/3$ $1/3$

Nun wollen wir den Prozess so modifizieren, dass man bei jedem Schritt nicht unbedingt die Münze dreht. Stattdessen wirft man einen Würfel und wenn das Ergebnis ist, bleibt die Münze wie sie ist. Diese Markov-Kette hat eine Übergangsmatrix Ohne die Mathematik zu durchlaufen, möchte ich darauf hinweisen, dass dieser Prozess den Anfangszustand „vergisst“, da der Zug zufällig weggelassen wird. Nach einer großen Anzahl von Schritten liegt die Wahrscheinlichkeit von Köpfen nahe bei , selbst wenn wir wissen, wie die Münze initialisiert wurde. Somit hat diese Kette die Grenzverteilung . $6$

P = (\begin{matrix} 1 / 6 & 5 / 6 \\ 5 / 6 & 1 / 6 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$

0.5

$0.5$

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

— Juho Kokkala
quelle

Ein guter Punkt, um den Ausgangszustand zu vergessen, ich habe dies in meiner Antwort vollständig beschönigt.

— Shadowtalker

Diese Erklärung hilft mir sehr zu verstehen. Kann ich sagen, dass die Existenz eines stationären Zustands gleichbedeutend ist mit der Existenz einer begrenzenden Verteilung? Da es nicht einfach ist, die Grenzverteilung zu berechnen, berechnen wir die stationäre Verteilung häufig durch Lösen von Bilanzgleichungen. Ich dachte jedoch, diese alternative Methode garantiert nicht, dass die stationäre Verteilung von den Anfangszuständen unabhängig ist, daher erklärt sie, warum für die stationäre Verteilung aber kein stationärer Zustand, der von den Anfangszuständen unabhängig ist.

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix})

$P = \begin{pmatrix}0&1\\1&0\end{pmatrix}$

— Guoyang Qin

@GuoyangQin Wenn Sie eine neue Frage haben, möchten Sie diese möglicherweise als Frage posten (mit dieser Frage verknüpfen, wenn sie Ihnen bei der Beantwortung der Frage hilft). Obwohl ich gedacht hätte, dass "stationärer Zustand" in diesem Zusammenhang "stationäre Verteilung" bedeutet, ist es am besten, den Begriff in der Frage

— Juho Kokkala,

Abgesehen von der Schreibweise bedeutet das Wort "stationär" "sobald Sie dort sind, bleiben Sie dort"; während das Wort "einschränken" impliziert, dass Sie irgendwann dorthin gelangen, wenn Sie weit genug gehen. Ich dachte nur, das könnte hilfreich sein.

— Blauer Himmel
quelle

Es ist nicht klar, wie dies auf die Frage zutrifft. Könntest du erklären?

— Whuber

Hallo @whuber, ich meine zu sagen, dass eine Grenzverteilung notwendigerweise eine stationäre Verteilung ist, während eine stationäre Verteilung nicht notwendigerweise eine Grenzverteilung ist. Daher gibt es einen Unterschied. Dies ist im Wesentlichen dasselbe wie bei anderen Antworten, aber ich denke, es ist einfacher, sich daran zu erinnern.

— BlueSky

Vielen Dank für die Klarstellung: Es zeigt uns, was Sie erreichen wollen. Ich kann jedoch keinen vernünftigen Weg finden, Ihre Beschreibung von "stationär" in einer Weise zu interpretieren, die mit der mathematischen Definition übereinstimmt.

— Whuber

@whuber Die Phrasierung von BlueSky scheint mir eine extrem einfache, einfache englische Vorstellung von "Fixpunkt" zu sein - ich bin mir nicht sicher, was Ihr Objekt bedeuten könnte.

— Richard Rast