Verwirrung im Zusammenhang mit Gibbs-Probenahme

Ich bin auf diesen Artikel gestoßen, in dem steht, dass bei der Gibbs-Probenahme jede Probe akzeptiert wird. Ich bin etwas verwirrt. Wie kommt es, dass jede aufgenommene Probe zu einer stationären Verteilung konvergiert?

Im allgemeinen Metropolis-Algorithmus akzeptieren wir als min (1, p (x *) / p (x)), wobei x * der Abtastpunkt ist. Ich gehe davon aus, dass x * uns auf eine Position zeigt, an der die Dichte hoch ist, sodass wir uns zur Zielverteilung bewegen. Daher nehme ich an, dass es sich nach einer Einbrennperiode zur Zielverteilung bewegt.

Bei der Gibbs-Stichprobe akzeptieren wir jedoch alles. Wie kann man also sagen, dass es zur stationären / Zielverteilung konvergiert, auch wenn es uns an einen anderen Ort führt?

Angenommen , wir haben eine Verteilung . Wir können Z nicht berechnen. Im Metropolis-Algorithmus verwenden wir den Term , um die Verteilung plus die Normalisierungskonstante Z aufzunehmen. Also ist es gut $p(\theta) = c(\theta)/Z$ $c(\theta^{new})/c(\theta^{old})$ $c(\theta)$

Aber wo in Gibbs-Stichproben verwenden wir die Verteilung $c(\theta)$

Zum Beispiel in der Zeitung http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf ist es gegeben

Wir haben also nicht die genaue bedingte Verteilung, aus der wir eine Stichprobe erstellen können, sondern nur etwas, das direkt proportional zur bedingten Verteilung ist

Geben Sie hier die Bildbeschreibung ein

mcmc gibbs metropolis-hastings

— user34790
quelle

Was würde in Metropolis-Hastings passieren, wenn immer 1 wäre?

p (x *) / p (x)

$p(x*)/p(x)$

— Glen_b -Reinstate Monica

Antworten:

Wenn wir den Metropolis-Hastings-Algorithmus verwenden, müssen wir ein Akzeptanzverhältnis berechnen und die Zufallsvariable dann akzeptieren wir die Zufallsvariable, wenn .

α = min (1, \frac{p (x^{*})}{p (x)})

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$

U < α

$U<\alpha$

Bei der Gibbs-Stichprobe wird jedoch immer die Zufallsvariable ausgenommen, da wir das Akzeptanzverhältnis nicht berechnen müssen (nun ja, Sie tun es tatsächlich, aber wenn Sie Dinge anschließen, sehen Sie, dass alles abgebrochen wird und Ihr Akzeptanzverhältnis und so klar ist ist immer kleiner als und aus diesem Grund akzeptieren Sie immer). Sie können sich jedoch auch intuitiv vorstellen, wo Sie bei der Gibbs-Abtastung aus den vollständigen Bedingungen abtasten. Dies ist ein Ausdruck in geschlossener Form, aus dem wir direkt abtasten können, sodass es nicht erforderlich ist, Stichproben wie im Metropolis-Hastings-Algorithmus abzulehnen, in dem wir uns befinden Ich weiß nicht, wie ich aus probieren soll (oder erkenne normalerweise nicht die Form von . Ich hoffe, das hilft! $\alpha=1$ $U$ $\alpha$ $p(x)$

Geben Sie hier die Bildbeschreibung ein

Ich habe es nicht verstanden, warum alles abbricht. Nehmen wir an, wir müssen aus der Verteilung von 3 Variablen eine Stichprobe ziehen . Wenn Sie also vollständige Bedingungen in geschlossener Form ausdrücken wollten, meinen Sie p (x1 | x2, x3) p (x2 | x1, x3) und p (x3 | x1, x2). Meine Frage ist, dass wir im Fall der Gibbs-Abtastung die bedingte Verteilung kennen, die aus der tatsächlichen Verteilung p erhalten wird, aus der wir die Abtastung durchführen möchten. Meinst Du das. Im Fall des Metropolis-Algorithmus kennen wir p nicht, aber so etwas wie c, so dass p (x) = c (x) / Z ??

p (θ)

$p(\theta)$

— user34790

Angenommen, wir beginnen mit Zufallswerten für die Variablen x1, x2 und x3. Wie können wir sagen, dass ihre stationäre Verteilung die erforderliche konvergiert? Was sind die Kriterien dafür?

— user34790

Angenommen , ich eine Verteilung haben . Ich kenne Z. Also nicht, wie würde ich mit Gibbs-Sampling von abtasten

p (θ) = c (θ) / Z

$p(\theta) = c(\theta)/Z$

p (θ)

$p(\theta)$

— user34790

Ich habe oben einen Beweis hinzugefügt, warum es immer einer ist. Um Gibbs-Sampling verwenden zu können, müssen Sie die vollständigen Bedingungen kennen.

Der Beweis, dass die Akzeptanzrate als Tippfehler gleich 1 ist, dh im Nenner im mittleren und dritten Teil sollte der Ausdruck für q z_i prime haben, so dass Sie am Ende P (z_i prime | z_i prime) erhalten.

Alex

— user60803
quelle