MCMC mit Metropolis-Hastings-Algorithmus: Auswahl des Vorschlags


11

Ich muss eine Simulation durchführen, um ein Integral einer 3-Parameter-Funktion zu bewerten, wir sagen , das eine sehr komplizierte Formel hat. Es wird gebeten, die MCMC-Methode zu verwenden, um sie zu berechnen und den Metropolis-Hastings-Algorithmus zu implementieren, um die als verteilten Werte zu generieren , und es wurde vorgeschlagen, eine 3-variierte Normalen als Angebotsverteilung zu verwenden. Beim Lesen einiger Beispiele habe ich gesehen, dass einige von ihnen dann eine Normale mit festen Parametern und andere eine Variable mit einem variablen Mittelwert , wobei der zuletzt akzeptierte Wert ist wie verteilt nach . Ich habe einige Zweifel an beiden Ansätzen:ffN(μ,σ)N(X,σ)Xf

1) Was bedeutet es, den zuletzt akzeptierten Wert als neuen Mittelwert unserer Angebotsverteilung zu wählen? Meine Intuition sagt, es sollte garantieren, dass unsere Werte näher an den als verteilten Werten liegen und die Chancen auf Akzeptanz größer sind. Aber konzentriert es unsere Probe nicht zu sehr? Es ist garantiert, dass die Kette stationär wird, wenn ich mehr Proben bekomme.f

2) Wäre die Auswahl fester Parameter (da das wirklich schwer zu analysieren ist) nicht wirklich schwierig und abhängig von der ersten Probe, die wir zum Starten des Algorithmus auswählen müssen? Was wäre in diesem Fall der beste Ansatz, um herauszufinden, welcher besser ist?f

Ist einer dieser Ansätze besser als der andere oder hängt dies vom Fall ab?

Ich hoffe, meine Zweifel sind klar und ich würde mich freuen, wenn etwas Literatur gegeben werden könnte (ich habe einige Artikel über das Thema gelesen, aber mehr ist besser!)

Danke im Voraus!

Antworten:


8

1) Sie können sich diese Methode als Random-Walk-Ansatz vorstellen. Wenn die Angebotsverteilung , wird sie üblicherweise als Metropolis-Algorithmus bezeichnet. Wenn zu klein ist, haben Sie eine hohe Akzeptanzrate und untersuchen die Zielverteilung sehr langsam. Wenn zu klein und die Verteilung multimodal ist, kann der Sampler in einem bestimmten Modus stecken bleiben und die Zielverteilung nicht vollständig untersuchen. Wenn andererseits zu groß ist, ist die Akzeptanzrate zu niedrig. Da Sie drei Dimensionen haben, würde Ihre Angebotsverteilung eine KovarianzmatrixxxtN(xt,σ2)σ2σ2σ2ΣDies erfordert wahrscheinlich unterschiedliche Varianzen und Kovarianzen für jede Dimension. Die Auswahl eines geeigneten kann schwierig sein.Σ

2) Wenn Ihre Angebotsverteilung immer , ist dies der unabhängige Metropolis-Hastings-Algorithmus, da Ihre Angebotsverteilung nicht von Ihrer aktuellen Stichprobe abhängt. Diese Methode funktioniert am besten, wenn Ihre Angebotsverteilung eine gute Annäherung an die Zielverteilung darstellt, aus der Sie eine Stichprobe erstellen möchten. Sie haben Recht, dass die Auswahl einer guten normalen Näherung schwierig sein kann.N(μ,σ2)

Der Erfolg beider Methoden sollte nicht vom Startwert des Samplers abhängen. Unabhängig davon, wo Sie beginnen, sollte die Markov-Kette schließlich zur Zielverteilung konvergieren. Um die Konvergenz zu überprüfen, können Sie mehrere Ketten von verschiedenen Startpunkten aus ausführen und eine Konvergenzdiagnose wie die Gelman-Rubin-Konvergenzdiagnose durchführen.


Ich bin mir nicht sicher, ob die Aussage: "2) Wenn Ihre Angebotsverteilung immer , dann ist dies der unabhängige Metropolis-Hastings-Algorithmus, da Ihre Angebotsverteilung nicht von Ihrer aktuellen Stichprobe abhängt: "ist richtig, weil keine Stichproben aus symmetrisch gezeichnet werden und dies daher korrekter als Metropolis-Algorithmus und nicht als Metropolis-Hasting-Algorithmus bezeichnet wird. Ich bin mir nicht ganz sicher, also stelle ich auch die Frage. N(μ,σ2)N(μ,σ2)
Rhody

@ Rhody. Der Metropolis-Algorithmus löscht die Konditionierung nicht an Ihrem aktuellen Standort. Der springende Punkt ist, langsam mit einem symmetrischen Vorschlag von Ihrem aktuellen Standort durch den Parameterraum zu wandern. Wenn Sie einen symmetrischen Vorschlag verwenden, der von Ihrem aktuellen Standort und der Berechnung der Metropolis-Akzeptanzwahrscheinlichkeit abhängt, konvergieren Sie schließlich zur Zielverteilung. Für den unabhängigen Metropolis-Hastings-Algorithmus möchten Sie, dass Ihre Angebotsverteilung eine Annäherung an die Zielverteilung darstellt, und Sie verwenden eine andere Berechnung für die Akzeptanzwahrscheinlichkeit.
Jsk

@ Rhody. Es ist auch wahr, dass die Normalverteilung eine symmetrische Verteilung ist, aber das ist nicht die Art von Symmetrie, auf die hier Bezug genommen wird. Wenn q Ihre Angebotsverteilung ist, ist die Angebotsverteilung symmetrisch, wenn q (Y | X) = q (X | Y). Wenn , dann ist q nicht symmetrisch, weil für alle und . qN(μ,σ2)q(Y)q(X)XY
Jsk

@jsk wird als symmetrisch angesehen, oder? xN(x,ε)
user76284
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.