Beispiele für Fehler in MCMC-Algorithmen

Ich untersuche eine Methode zur automatischen Überprüfung von Markov-Ketten-Monte-Carlo-Methoden und möchte einige Beispiele für Fehler nennen, die beim Erstellen oder Implementieren solcher Algorithmen auftreten können. Bonuspunkte, wenn die falsche Methode in einem veröffentlichten Artikel verwendet wurde.

Ich bin besonders an Fällen interessiert, in denen der Fehler bedeutet, dass die Kette die falsche invariante Verteilung hat, obwohl auch andere Arten von Fehlern (z. B. Kette nicht ergodisch) von Interesse wären.

Ein Beispiel für einen solchen Fehler wäre, keinen Wert auszugeben, wenn Metropolis-Hastings einen vorgeschlagenen Zug ablehnt.

mcmc

— Simon Byrne
quelle

Eines meiner Lieblingsbeispiele ist der Harmonic Mean Estimator, weil er gute asymptotische Eigenschaften hat, aber in der Praxis nicht funktioniert. Radford Neal diskutiert dies in seinem Blog: "Die schlechte Nachricht ist, dass die Anzahl der Punkte, die dieser Schätzer benötigt, um der richtigen Antwort nahe zu kommen, oft größer ist als die Anzahl der Atome im beobachtbaren Universum." Diese Methode ist in Anwendungen weit verbreitet.

Eine weitere mit freundlicher Genehmigung von Prof. Neal.

— Cyan

Um Neal ernst zu nehmen, hätte er meiner Meinung nach eine Zeitschrift finden sollen, die seinen Artikel akzeptiert, anstatt ihn nur im Internet einzureichen. Ich kann leicht glauben, dass er Recht hat und die Schiedsrichter und der Autor falsch sind. Obwohl es schwierig ist, Artikel zu veröffentlichen, die den veröffentlichten Ergebnissen widersprechen, und die JASA-Ablehnung entmutigend ist, hätte er meines Erachtens mehrere andere Zeitschriften ausprobieren sollen, bis er Erfolg hatte. Sie benötigen einen unparteiischen und unabhängigen Schiedsrichter, um Ihre Ergebnisse glaubwürdiger zu machen.

— Michael R. Chernick

Man sollte Prof. Neal immer ernst nehmen! ; o) Im Ernst, es ist eine Schande, dass solche Ergebnisse schwer zu veröffentlichen sind, und leider scheint die moderne akademische Kultur so etwas nicht zu schätzen, so dass es verständlich ist, wenn es für ihn keine Aktivität mit hoher Priorität ist. Interessante Frage, ich bin sehr an den Antworten interessiert.

— Dikran Marsupial

@Michael: Vielleicht. Meine anekdotischen Beobachtungen sind, dass die Ablehnung von Papier in den meisten Fällen sehr, sehr wenig Informationsgehalt mit sich bringt, wie auch viele Akzeptanzen, da ich in ähnlichen Situationen auf allen Seiten war, auch in Prof. Neals Position. Peer Review ist um Größenordnungen lauter, als die Leute gerne zugeben, und häufig, wie es hier der Fall sein mag, spielen partielle und interessierte (dh nicht unabhängige) Parteien und Interessen eine Rolle. Trotzdem hatte ich nicht die Absicht, mit meinem ursprünglichen Kommentar ein weites Feld des vorliegenden Themas zu betreten. Vielen Dank, dass Sie uns Ihre Gedanken zu diesem Thema mitteilen.

— Kardinal

Antworten:

1. Schätzer der Grenzwahrscheinlichkeit und des harmonischen Mittels

Die marginale Wahrscheinlichkeit ist definiert als die Normalisierungskonstante der posterioren Verteilung

p (x) = \int_{Θ} p (x | θ) p (θ) d θ .

$p({\bf x})=\int_{\Theta}p({\bf x}\vert\theta)p(\theta)d\theta.$

Die Bedeutung dieser Größe ergibt sich aus der Rolle, die sie beim Modellvergleich über Bayes-Faktoren spielt .

Es wurden verschiedene Methoden vorgeschlagen, um diese Menge anzunähern. Raftery et al. (2007) schlagen den Harmonic Mean Estimator vor , der aufgrund seiner Einfachheit schnell populär wurde. Die Idee besteht darin, die Relation zu verwenden

\frac{1}{p (x)} = \int_{Θ} \frac{p (θ | x)}{p (x | θ)} d θ .

$\dfrac{1}{p({\bf x})}=\int_{\Theta}\dfrac{p(\theta\vert{\bf x})}{p({\bf x}\vert\theta)}d\theta.$

Deshalb, wenn man eine Probe von der posterioren hat, sagen , kann diese Menge durch angenähert werden $(\theta_1,...,\theta_N)$

\frac{1}{p (x)} \approx \frac{1}{N} \sum_{j = 1}^{N} \frac{1}{p (x | θ_{j})} .

$\dfrac{1}{p({\bf x})}\approx\dfrac{1}{N}\sum_{j=1}^N \dfrac{1}{p({\bf x}\vert\theta_j)}.$

Diese Annäherung steht im Zusammenhang mit dem Konzept der Stichprobenerhebung .

Nach dem Gesetz der großen Zahlen, wie es in Neals Blog diskutiert wird , ist dieser Schätzer konsistent . Das Problem ist, dass das für eine gute Approximation erforderliche sehr groß sein kann. In Neals Blog oder Roberts Blog 1 , 2 , 3 , 4 finden Sie einige Beispiele. $N$

Alternativen

Es gibt viele Alternativen zur Approximation von . Chopin und Robert (2008)stellen einige auf Stichproben basierende Methoden von Bedeutung vor. $p({\bf x})$

2. Lassen Sie Ihren MCMC-Sampler nicht lange genug laufen (besonders bei Multimodalität)

Mendoza und Gutierrez-Peña (1999) leiten die Referenzprior / posterior für das Verhältnis zweier normaler Mittelwerte her und präsentieren ein Beispiel für die mit diesem Modell erhaltenen Schlussfolgerungen unter Verwendung eines realen Datensatzes. Unter Verwendung von MCMC-Methoden erhalten sie eine Stichprobe der Größe des posterioren Verhältnisses der Mittelwerte $2000$ das unten gezeigt ist $\varphi$

Bildbeschreibung hier eingeben

$\varphi$ $(0.63,5.29)$ $0$ $0$

Bildbeschreibung hier eingeben

$(0,7.25)$

3. In dieser Diskussion von Gelman, Carlin und Neal finden sich einige andere Punkte wie die Beurteilung der Konvergenz, die Wahl der Ausgangswerte und das schlechte Verhalten der Kette .

4. Wichtigkeitsprobe

Ein Verfahren zur Approximation eines Integrals besteht darin, den Integranden mit einer Dichte multiplizieren $g$ , mit der gleichen Unterstützung, die wir simulieren können

I = \int f (x) d x = \int \frac{f (x)}{g (x)} g (x) d x .

$I=\int f(x)dx = \int \dfrac{f(x)}{g(x)}g(x)dx.$

$g$ $(x_1,...,x_N)$ $I$ wie folgt

I \approx \frac{1}{N} \sum_{j = 1}^{N} \frac{f (x_{j})}{g (x_{j})} .

$I\approx \dfrac{1}{N}\sum_{j=1}^N \dfrac{f(x_j)}{g(x_j)}.$

$g$ $f$ $N$

# Integrating a Student's t with 1 d.f. using a normal importance function   
x1 = rnorm(10000000)   # N=10,000,000
mean(dt(x1,df=1)/dnorm(x1))

# Now using a Student's t with 2 d.f. function
x2 = rt(1000,df=2)
mean(dt(x2,df=1)/dt(x2,df=2))

Sie sind einige großartige Beispiele. Für alle Interessierten ist der Brief an den Herausgeber mit der Abbildung hier: onlinelibrary.wiley.com/doi/10.1002/bimj.200800256/abstract

— Simon Byrne

Sehr schöne und übersichtliche Zusammenfassung !! (+1)

— gui11aume

Darren Wilkinson gibt in seinem Blog ein detailliertes Beispiel für einen häufigen Fehler in Metropolis-Hastings. Ich empfehle es vollständig zu lesen, aber hier ist die tl; dr-Version.

Wenn die Zielverteilung in einer Dimension positiv ist (wie Gamma-Verteilungen usw. ), ist es verlockend, Vorschläge mit einem negativen Wert für diese Dimension sofort abzulehnen. Der Fehler besteht darin, die Vorschläge, wie sie noch nie gemacht wurden, wegzuwerfen und nur die Metropolis-Hastings-Akzeptanzquote der anderen zu bewerten. Dies ist ein Fehler, da es sich um die Verwendung einer nicht symmetrischen Angebotsdichte handelt.

Der Autor schlägt vor, eine von zwei Korrekturen anzuwenden.

Zählen Sie die "Negative" als fehlgeschlagene Akzeptanz (und verlieren Sie ein wenig an Effizienz).
Verwenden Sie in diesem Fall das richtige MH-Verhältnis

\frac{π (x^{*})}{π (x)} \frac{Φ (x)}{Φ (x^{*})},

$\frac{\pi(x^*)}{\pi(x)} \frac{\Phi(x)}{\Phi(x^*)},$

woher $\pi$ ist die Zieldichte und $\Phi$ ist die Normalisierungskonstante des abgeschnittenen Zufallsvorschlags $\phi$ , dh $\Phi(x) = \int_0^{\infty} \phi(y-x)dy$ .

— gui11aume
quelle

+1 Interessantes Beispiel. Ich dachte auch über andere Probleme mit MH im Zusammenhang mit der Akzeptanzrate nach. Ich denke, die optimale Rate von 0,234 wurde überbeansprucht.

@Procrastinator Sie kennen die MCMC-Literatur sehr gut. Ist dies Ihr Fachgebiet?

— gui11aume

Vielen Dank für Ihren Kommentar. Ich mag Bayesianische Statistiken, dann muss ich das MCMC-Kreuz tragen;).

Ein sehr klarer Fall (in Verbindung mit der in der ersten Antwort erwähnten Grenzwahrscheinlichkeitsannäherung ), in dem echte Konvergenz das Problem des Etikettenwechsels in Mischungsmodellen in Verbindung mit der Verwendung des Schätzers von Chib (1995) darstellt . Wie von Radford Neal (1999) ausgeführt, erreicht die Monte-Carlo-Näherung von Chib nicht den richtigen numerischen Wert , wenn die MCMC-Kette in dem Sinne nicht richtig konvergiert, dass sie einen Teil des Modus der Zielverteilung untersucht.

— Xi'an
quelle