Ergibt eine MCMC, die eine detaillierte Bilanz erfüllt, eine stationäre Verteilung?

11

Ich denke, ich verstehe die Gleichung der detaillierten Gleichgewichtsbedingung, die besagt, dass für die Übergangswahrscheinlichkeit und die stationäre Verteilung eine Markov-Kette ein detailliertes Gleichgewicht erfüllt, wenn $q$ $\pi$

q (x | y) π (y) = q (y | x) π (x),

$q(x|y)\pi(y)=q(y|x)\pi(x),$

Das ist für mich sinnvoller, wenn ich es wie folgt wiederhole:

\frac{q (x | y)}{q (y | x)} = \frac{π (x)}{π (y)} .

$\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}.$

$x$ $y$

probability mcmc markov-process

— Mike Flynn
quelle

9

Es ist nicht wahr, dass MCMC, die eine detaillierte Bilanz erfüllen, immer die stationäre Verteilung ergeben. Sie müssen den Prozess auch ergodisch gestalten . Mal sehen warum:

$x$ $i$ $p_t(i)$

p_{t} (ich) = \sum_{j} Ω_{j \to ich} p_{t - - 1} (j)

$p_t(i) = \sum_{j} \Omega_{j \rightarrow i} p_{t-1}(j)$

$\Omega_{j \rightarrow i}$ $q(x|y)$ ).

Also haben wir das

p_{t} (ich) = \sum_{j} (Ω_{j \to ich})^{t} p_{0} (j)

$p_t(i) = \sum_{j} (\Omega_{j \rightarrow i})^t p_{0}(j)$

$\Omega_{j \rightarrow i}$ eine Übergangswahrscheinlichkeit ist, impliziert, dass seine Eigenwerte zum Intervall [0,1] gehören müssen.

$p_{0}(j)$

$\Omega$

$\pi$

$\pi$

Ergodizität impliziert 1., detailliertes Gleichgewicht impliziert 2., und deshalb bilden beide eine notwendige und ausreichende Bedingung für asymptotische Konvergenz.

Warum detailliertes Gleichgewicht 2 impliziert:

Ab

p (ich) Ω_{ich j} = Ω_{j ich} p (j)

$p(i)\Omega_{ij} = \Omega_{ji} p(j)$

und summieren über $j$ auf beiden Seiten erhalten wir

p (ich) = \sum_{j} Ω_{j ich} p (j)

$p(i) = \sum_{j}\Omega_{ji} p(j)$

da $\sum_{j} \Omega_{ij} = 1$ , da man immer irgendwohin fährt.

Die obige Gleichung ist die Definition von Eigenwert 1 (leichter zu erkennen, wenn Sie ihn in Vektorform schreiben :)

1. v = Ω \cdot v

$1.v = \Omega\cdot v$

— Jorge Leitao
quelle

Das OP fragt nicht, ob es eindeutig ist oder nicht. Er fragt, wie MCMC mit detaillierter Bilanz ausreicht, um eine invariante Wahrscheinlichkeitsdichte zu erhalten.

— Gatsu

1

Der erste Satz dieser Antwort lautet: "Es ist nicht wahr, dass MCMC, die ein detailliertes Gleichgewicht erfüllen, immer die stationäre Verteilung ergeben." Nein, ein detailliertes Gleichgewicht reicht nicht aus, um eine unveränderliche Dichte zu erzielen ... Wie beantwortet das die Frage nicht?

— Jorge Leitao

0

Ich denke, das tut es, denn für einen irreduziblen MC hat er, wenn die detaillierte Balance erfüllt ist, eine eindeutige stationäre Verteilung, aber damit er unabhängig von der anfänglichen Verteilung ist, muss er auch aperiodisch sein.

Bei MCMC beginnen wir an einem Datenpunkt und schlagen dann einen neuen Punkt vor. Wir können uns zum vorgeschlagenen Punkt bewegen oder nicht, dh wir haben eine Selbstschleife, die einen irreduziblen MC aperiodisch macht.

Aufgrund der Erfüllung der DB hat sie nun auch positive wiederkehrende Zustände, dh die mittlere Rückkehrzeit zu den Zuständen ist endlich. Die Kette, die wir in MCMC konstruieren, ist also irreduzibel, aperiodisch und positiv wiederkehrend, was bedeutet, dass es sich um eine ergodische Kette handelt.

Wir wissen, dass für eine irreduzible ergodische Kette eine stationäre Verteilung existiert, die einzigartig und unabhängig von der anfänglichen Verteilung ist.

— Siddharth Shakya
quelle