Akzeptanzrate für Metropolis-Hastings> 0,5

7

Wie kommt es, dass Metropolis-Hastings-Akzeptanzraten nahe 1 liegen (z. B. wenn eine unimodale Verteilung mit einer normalen Angebotsverteilung mit zu kleiner SD untersucht wird), nachdem das Einbrennen beendet ist? Ich sehe es in meinen eigenen MCMC-Ketten, aber ich verstehe nicht, wie es Sinn macht. Es scheint mir, dass sich die Akzeptanzrate nach Erreichen des Gipfels um Werte stabilisieren sollte, die kleiner als 0,5 sind.

mcmc metropolis-hastings

— TanZor
quelle

1

Es ist unklar, was Ihr Vorschlag ist. Die Angemessenheit der Akzeptanzrate hängt vollständig von der Angebotsverteilung ab. Ich vermute, Sie sprechen über einen Vorschlag für einen zufälligen Spaziergang, aber ich bin mir nicht sicher.

— Jaradniemi

11

Die Akzeptanzrate hängt weitgehend von der Angebotsverteilung ab. Wenn die Varianz gering ist, liegt das Verhältnis der Wahrscheinlichkeiten zwischen dem aktuellen Punkt und dem Vorschlag notwendigerweise immer nahe bei 1, was eine hohe Akzeptanzchance ergibt. Dies liegt nur daran, dass die Zielwahrscheinlichkeitsdichten, mit denen wir normalerweise arbeiten, lokal Lipschitz (eine Art von Glätte) in kleinen Maßstäben sind, sodass die Wahrscheinlichkeit von zwei nahe gelegenen Punkten (informell) ähnlich ist.

Wenn Ihre aktuelle Stichprobe nahe am MAP-Wert liegt, haben die Vorschläge weniger als eine Akzeptanzwahrscheinlichkeit, können aber immer noch sehr nahe an 1 liegen.

Als Randnotiz ist es üblich, die Angebotsverteilung so abzustimmen, dass eine Akzeptanzrate von 0,2 bis 0,25 erreicht wird. Sehen Sie hier für eine Diskussion über diese.

— AaronDefazio
quelle

1

Danke Aaron! Mir ist gerade klar geworden, dass ich an p (vorgeschlagen) / (p (aktuell) + p (vorgeschlagen)) anstelle von p (vorgeschlagen) / p (aktuell) gedacht habe, wie es wirklich ist. Wenn Sie also eine gleichmäßige Verteilung untersuchen, sollte die Akzeptanzrate 1 und nicht 0,5 betragen. Cool. Vielen Dank!

— TanZor

1

Diese Antwort setzt einen Random-Walk-Metropolis-Algorithmus voraus, der jedoch in der Frage nie angegeben wurde. Wenn Sie einen Unabhängigkeitsvorschlag mit einer kleinen Abweichung haben, können Sie Akzeptanzwahrscheinlichkeiten haben, die sehr weit von 1 entfernt sind.

— jaradniemi

8

Ein einfaches Beispiel für eine Akzeptanzwahrscheinlichkeit von eins ist die Simulation vom genauen Ziel: in diesem Fall Während dies wie ein unrealistisches Beispiel klingt, ist der Gibbs-Sampler eine echte Illustration, der als eine Folge von Metropolis-Hastings-Schritten interpretiert werden kann, alle mit der Wahrscheinlichkeit eins.

\frac{π (x^{'}) q (x^{'}, x)}{π (x) q (x, x^{'})} = 1 \forall x, x^{'}

$\dfrac{\pi(x')q(x',x)}{\pi(x)q(x,x')}=1\qquad\forall x,x'$

Ein möglicher Grund für Ihre Verwirrung ist die mögliche Wahrnehmung des Metropolis-Hastings-Algorithmus als Optimierungsalgorithmus. Der Algorithmus verwendet mehr Iterationen für höhere Zielregionen, zielt jedoch nicht auf das Maximum ab. Und während für alle , bedeutet dies nicht, dass Werte mit niedrigeren Zielwerten notwendigerweise abgelehnt werden, da die Vorschlagswerte und ebenfalls eine Rolle. $\pi(x^\text{MAP})\ge\pi(x)$ $x$ $q(x^\text{MAP},x)$ $q(x,x^\text{MAP})$

— Xi'an
quelle

4

+1 für "Metropolis-Hastings ist kein Optimierungsalgorithmus." Ich wollte das selbst als Antwort posten, aber jetzt muss ich nicht mehr. :)

— Ilmari Karonen

Wie können wir neben der Anzahl der Iterationen den Metropolis-Hastings-Algorithmus optimieren?

— Marouane1994

Die Optimierung eines MH-Algorithmus ist vielfältig: minimale Zeit bis zum "Erreichen" der Stationarität, maximale negative Autokorrelation, Konzentration auf die sich am langsamsten ändernden Richtungen, unverzerrte MCMC, optimale asymptotische Varianz, perfekte Abtastung usw. unter Berücksichtigung der Zeit pro Zeit Wiederholung.

— Xi'an