Wann würde man Gibbs-Sampling anstelle von Metropolis-Hastings verwenden?


20

Es gibt verschiedene Arten von MCMC-Algorithmen:

  • Metropolis-Hastings
  • Gibbs
  • Stichprobe von Bedeutung / Ablehnung (in Verbindung stehend).

Warum sollte man Gibbs-Sampling anstelle von Metropolis-Hastings verwenden? Ich vermute, dass es Fälle gibt, in denen Rückschlüsse mit Gibbs-Stichproben besser möglich sind als mit Metropolis-Hastings, aber die Einzelheiten sind mir nicht klar.


3
Auf den Kopf gestellt (es ist schon eine Weile her, deshalb poste ich dies nicht als Antwort), ist Gibbs schneller, wenn es funktioniert, während Metropolis-Hastings mit einer größeren Vielfalt von Modellen fertig wird, weil es nicht beschränkt ist zu orthogonalen Schritten im Parameterraum.
Kodiologist

4
Möglicherweise ist Ihnen nicht bewusst, dass Gibbs als eine Instanz von Metropolis-Hastings angesehen werden kann, und Sie möchten möglicherweise klarstellen, dass Sie etwas wie "Metropolis-Hastings mit lokalen Übergangsverteilungen" meinen.
Dougal

Antworten:


22

Lassen Sie mich zunächst [etwas umständlich] darauf hinweisen

Es gibt verschiedene Arten von MCMC-Algorithmen: Metropolis-Hastings, Gibbs, Wichtigkeits- / Zurückweisungsabtastung (verwandt).

Stichprobenverfahren für Wichtigkeit und Zurückweisung sind keine MCMC-Algorithmen, da sie nicht auf Markov-Ketten basieren. Tatsächlich Importance Sampling keine Probe aus der Zielverteilung erzeugen, sagen, aber nur Wichtigkeitsgewichte sagen wir, in Monte Carlo Approximationen von Integralen verwendet werden im Zusammenhang mit . Die Verwendung dieser Gewichte als Wahrscheinlichkeiten zur Erzeugung einer Stichprobe führt nicht zu einer geeigneten Stichprobe aus , obwohl unverzerrte Schätzer der Erwartungen unter erzeugt werden können.ω f f ffωfff

Zweitens die Frage

Warum sollte jemand mit Gibbs Sampling anstelle von Metropolis-Hastings gehen? Ich vermute, dass es Fälle gibt, in denen Inferenzen mit Gibbs-Stichproben besser als mit Metropolis-Hastings nachvollziehbar sind

hat keine Antwort darauf, dass ein Metropolis-Hastings-Sampler fast alles sein kann, einschließlich eines Gibbs-Samplers. Ich antwortete ziemlich ausführlich auf eine frühere und ähnliche Frage. Aber lassen Sie mich hier ein paar redundante Punkte hinzufügen:

Der Hauptgrund, warum die Gibbs-Abtastung eingeführt wurde, bestand darin, den Fluch der Dimensionalität (der sowohl die Zurückweisung als auch die Wichtigkeitsabtastung beeinflusst) zu brechen, indem eine Folge von Simulationen mit geringer Dimension erzeugt wurde, die immer noch zum richtigen Ziel konvergieren. Auch wenn die Dimension des Ziels die Konvergenzgeschwindigkeit beeinflusst. Metropolis-Hastings-Probenehmer sind so konzipiert, dass sie eine Markov-Kette (wie Gibbs-Probenahme) basierend auf einem Vorschlag (wie Wichtigkeits- und Zurückweisungs-Probenahme) erstellen, indem sie die falsche Dichte durch einen Akzeptanz-Zurückweisungs-Schritt korrigieren. Ein wichtiger Punkt ist jedoch, dass sie sich nicht widersetzen: Für die Gibbs-Abtastung sind möglicherweise Schritte nach Metropolis-Hastings erforderlich, wenn komplexe, bedingte Ziele mit geringer Dimension vorliegen, während die Vorschläge nach Metropolis-Hastings auf Annäherungen an (Gibbs) vollständige Bedingungen beruhen können. In einer formalen Definition Die Gibbs-Abtastung ist ein Spezialfall des Metropolis-Hasting-Algorithmus mit einer Akzeptanzwahrscheinlichkeit von eins. (Ich widerspreche übrigens der Verwendung vonRückschluss in diesem Zitat, da ich es für statistische Zwecke reservieren würde , während diese Sampler numerische Geräte sind.)

In der Regel wird die Gibbs-Abtastung [die so verstanden wird, dass sie eine Folge von niederdimensionalen bedingten Simulationen ausführt] in Umgebungen bevorzugt, in denen die Zerlegung in solche Bedingungen einfach zu implementieren und schnell durchzuführen ist. In Umgebungen, in denen solche Zerlegungen Multimodalität induzieren und sich daher nur schwer zwischen den Modi bewegen lassen (latente variable Modelle wie Mischungsmodelle fallen ein), kann die Verwendung eines globaleren Vorschlags in einem Metropolis-Hasting-Algorithmus zu einer höheren Effizienz führen. Der Nachteil liegt jedoch in der Auswahl der Angebotsverteilung im Metropolis-Hasting-Algorithmus.

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.