Gibbs-Stichprobe gegen allgemeine MH-MCMC

20

Ich habe gerade etwas über Gibbs Sampling und Metropolis Hastings Algorithmus gelesen und habe ein paar Fragen.

Soweit ich weiß, wird bei einer Gibbs-Stichprobe, wenn wir ein großes multivariates Problem haben, von der bedingten Verteilung abgetastet, dh eine Variable abgetastet, während alle anderen festgehalten werden, während in MH von der vollständigen gemeinsamen Verteilung abgetastet wird.

In dem Dokument heißt es unter anderem, dass die vorgeschlagene Stichprobe in Gibbs Sampling immer akzeptiert wird, dh die Rate der Annahme von Vorschlägen ist immer 1. Für mich scheint dies ein großer Vorteil zu sein, da bei großen multivariaten Problemen die Ablehnungsrate für den MH-Algorithmus ziemlich hoch zu sein scheint . Wenn dies tatsächlich der Fall ist, warum wird Gibbs Sampler nicht ständig zur Erzeugung der posterioren Verteilung verwendet?

— Luca
quelle

11

Ein gut konstruierter multivariater MH-Vorschlag kann die Gibbs-Abtastung deutlich übertreffen, selbst wenn eine Abtastung anhand der Bedingungen möglich ist (z. B. schlägt hochdimensionale multivariate Norm HMC Gibbs mit großem Abstand, wenn Variablen stark korreliert sind). Dies liegt daran, dass Gibbs-Sampling die gemeinsame Entwicklung der Variablen nicht zulässt. Es ist eine Art Analogie zur Optimierung einer Funktion durch iteratives Optimieren der einzelnen Argumente - Sie können es besser machen, wenn Sie alle Argumente gemeinsam und nicht nacheinander optimieren, auch wenn es einfacher ist , letztere zu optimieren .

— Kerl

Metropolis-Hastings kann anhand von Vorschlägen für eine Bedingung eine Stichprobe erstellen. Beziehen Sie sich auf eine bestimmte Art von MH?

— Glen_b -Reinstate Monica

1

Danke für den Kommentar. Nein, ich habe nur allgemein darüber nachgedacht, warum Gibbs Sampler nicht häufiger verwendet wird. hatte die Tatsache übersehen, dass die bedingte Verteilungsform für Gibbs-Stichproben a priori bekannt sein muss. Für meine aktuellen Bedürfnisse scheint es, dass eine Kombination am besten funktioniert. Verwenden Sie also einen MH-Schritt für eine Teilmenge der Parameter, während andere konstant bleiben, und verwenden Sie dann Gibbs für die andere Teilmenge (wobei die Bedingungen leicht analytisch zu bewerten sind). Ich fange gerade erst damit an und bin mir der verschiedenen Arten von MH noch nicht bewusst. Jeder Rat dazu ist dankbar :-)

— Luca

12

Der Hauptgrund für die Verwendung des Metropolis-Algorithmus liegt in der Tatsache, dass Sie ihn auch dann verwenden können, wenn der resultierende hintere Teil unbekannt ist. Für die Gibbs-Abtastung müssen Sie die posterioren Verteilungen kennen, aus denen Sie Variationen ziehen.

— user3777456
quelle

1

Danke für die Antwort! Die Idee bei GS ist also, dass die Bedingungen einfachere Verteilungen sind, aus denen ganz einfach ein Sampling durchgeführt werden kann, während die gemeinsame Verteilung, obwohl bekannt, eine komplizierte Verteilung sein kann, aus der nur schwer ein Sampling durchgeführt werden kann.

— Luca

2

Ja, das stimmt. Oft werden jedoch Gibbs-Sampling und die Metropolis zusammen verwendet. Wenn Sie also einige Variablen konditionieren, erhalten Sie möglicherweise eine geschlossene posteriore Form, während dies für andere nicht möglich ist und Sie einen "Metropolis-Schritt" verwenden müssen. In diesem Fall müssen Sie entscheiden, für welche Art von Metropolis-Sampler (Independence, Random-Walk) Sie sich entscheiden und welche Art von Vorschlagsdichten Sie verwenden. Aber ich denke, das geht ein bisschen zu weit und du solltest lieber zuerst selbst in dieses Zeug hineinlesen.

— user3777456

3

Gibbs-Sampling unterbricht den Fluch der Dimensionalität beim Sampling, da Sie den (möglicherweise hochdimensionalen) Parameterraum in mehrere niedrigdimensionale Schritte unterteilt haben. Metropolis-Hastings lindert einige der Dimensionsprobleme bei der Generierung von Ablehnungsabtasttechniken. Sie tasten jedoch immer noch mit einer vollständigen Multivariatenverteilung (und entscheiden, die Stichprobe zu akzeptieren / abzulehnen), wodurch der Algorithmus unter dem Fluch der Dimensionalität leidet.

Betrachten Sie es auf diese vereinfachte Weise: Es ist viel einfacher, ein Update für eine Variable gleichzeitig vorzuschlagen (Gibbs) als für alle Variablen gleichzeitig (Metropolis Hastings).

Davon abgesehen wird die Dimensionalität des Parameterraums weiterhin die Konvergenz in Gibbs und Metropolis Hastings beeinflussen, da es mehr Parameter gibt, die möglicherweise nicht konvergieren könnten.

Gibbs ist auch schön, weil jeder Schritt der Gibbs-Schleife in geschlossener Form sein kann. Dies ist häufig bei hierarchischen Modellen der Fall, bei denen jeder Parameter nur von wenigen anderen abhängig ist. Es ist oft ziemlich einfach, Ihr Modell so zu konstruieren, dass jeder Gibbs-Schritt in geschlossener Form vorliegt (wenn jeder Schritt konjugiert ist, wird er manchmal als "halbkonjugiert" bezeichnet). Das ist schön, weil Sie Samples von bekannten Distributionen verwenden, die oft sehr schnell sind.

— TrynnaDoStat
quelle

"Gibbs-Sampling bricht den Fluch der Dimensionalität beim Sampling": Tatsächlich ist Gibbs-Sampling in der Regel weitaus schlechter als Metropolis Hastings mit einer adaptiven Vorschlagskovarianzmatrix.

— Cliff AB