Hamiltonian Monte Carlo

Kann jemand die Grundidee hinter den Hamilton-Monte-Carlo-Methoden erläutern und in welchen Fällen werden bessere Ergebnisse erzielt als mit den Markov-Chain-Monte-Carlo-Methoden?

Ich glaube, die aktuellste Quelle zu Hamiltonian Monte Carlo, seinen praktischen Anwendungen und dem Vergleich mit anderen MCMC-Methoden ist dieses Übersichtspapier von Betancourt aus dem Jahr 2017 :

Die ultimative Herausforderung bei der Schätzung probabilistischer Erwartungen besteht in der Quantifizierung der typischen Menge der Zielverteilung, einer Menge, die sich in der Nähe einer komplexen Oberfläche im Parameterraum konzentriert. Hamiltonian Monte Carlo generiert eine kohärente Erkundung von glatten Zielverteilungen, indem die Geometrie der typischen Menge ausgenutzt wird. Diese effektive Exploration liefert nicht nur eine bessere Recheneffizienz als andere Monte-Carlo-Algorithmen der Markov-Kette, sondern auch eine bessere Garantie für die Gültigkeit der resultierenden Schätzer. Darüber hinaus erleichtert die sorgfältige Analyse dieser Geometrie prinzipielle Strategien für die automatische Erstellung optimaler Implementierungen der Methode, sodass die Benutzer ihr Fachwissen auf die Erstellung besserer Modelle konzentrieren können, anstatt sich mit den Frustrationen der statistischen Berechnung herumschlagen zu müssen. Als Ergebnis,Stan (Stan-Entwicklungsteam, 2017).

Hamiltonian Monte Carlo ( HMC ), ursprünglich Hybrid Monte Carlo genannt, ist eine Form der Markov-Kette Monte Carlo mit einem Impulsbegriff und Korrekturen.

Der "Hamiltonsche" bezieht sich auf die Hamiltonsche Mechanik.

Der Anwendungsfall untersucht stochastisch (zufällig) hohe Dimensionen für die numerische Integration über einen Wahrscheinlichkeitsraum.

Kontrast zu MCMC

Plain / Vanilla Markov Chain Monte Carlo (MCMC) verwendet nur den letzten Zustand, um den nächsten Zustand zu bestimmen. Das bedeutet, dass Sie genauso wahrscheinlich vorwärts gehen werden wie zurück in den Raum, den Sie bereits erkundet haben.

Es ist auch wahrscheinlich, dass MCMC auch in hochdimensionalen Räumen außerhalb des Hauptinteressensbereichs driftet.

Dies macht MCMC für die Zwecke der numerischen Integration über einen mehrdimensionalen Wahrscheinlichkeitsraum sehr ineffizient.

Wie die HMC mit diesen Problemen umgeht

Durch Hinzufügen eines Momentum-Terms macht die HMC die Erkundung des Wahrscheinlichkeitsraums effizienter, da Sie nun mit größerer Wahrscheinlichkeit Fortschritte bei jedem Schritt durch Ihren Wahrscheinlichkeitsraum erzielen.

HMC verwendet auch Metropolis-Hastings Korrekturen, um sicherzustellen, dass sie in der Region mit größerer Wahrscheinlichkeit bleibt und diese erkundet.

Als ich diese Antwort schrieb, fand ich diese Präsentation auf HMC ziemlich aufschlussreich.