Robuster MCMC-Schätzer der Grenzwahrscheinlichkeit?

9

Ich versuche, die Grenzwahrscheinlichkeit für ein statistisches Modell mit Monte-Carlo-Methoden zu berechnen:

f (x) = \int f (x ∣ θ) π (θ) d θ

$f(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta$

Die Wahrscheinlichkeit ist gut verhalten - glatt, logarithmisch konkav - aber hochdimensional. Ich habe versucht, wichtige Stichproben zu erstellen, aber die Ergebnisse sind wackelig und hängen stark von dem Vorschlag ab, den ich verwende. Ich kurz tun Hamilton - Monte Carlo betrachtet hinteren Proben zu berechnen , bevor über eine einheitliche Annahme und das harmonische Mittel nehmen, bis ich sah dies . Lektion gelernt, kann das harmonische Mittel eine unendliche Varianz haben. Gibt es einen alternativen MCMC-Schätzer, der fast genauso einfach ist, aber eine gut verhaltene Varianz aufweist? $\theta$

monte-carlo likelihood marginal

— David Pfau
quelle

Sie können auch grundlegende Monte-Carlo-Proben aus dem Stand der Technik in Betracht ziehen.

f (x) = E_{π (θ)} (f (x | θ))

$f(x)=E_{\pi(\theta)}(f(x|\theta))$

— Wahrscheinlichkeitslogik

1

Das ist eine mögliche Lösung. Denken Sie in diesem Fall daran, dass unzulässige Prioritäten nicht mehr zulässig sind und Prioritäten mit einer sehr breiten Unterstützung wahrscheinlich die Monte-Carlo-Näherung erschweren.

— Zen

1

Ein vollständiges Buch zu diesem Thema ist Chen, Shao und Ibrahim (2001) . Sie können auch nach Schlüsselwörtern wie verschachtelter Abtastung, Brückenabtastung, defensiver Abtastung, Partikelfilter und Savage-Dickey suchen.

— Xi'an

8

Wie wäre es mit einer geglühten Wichtigkeitsprobe ? Die Varianz ist viel geringer als bei regulären Stichproben. Ich habe gesehen, dass es als "Goldstandard" bezeichnet wird, und es ist nicht viel schwieriger zu implementieren als "normale" Stichproben. Es ist langsamer in dem Sinne, dass Sie für jede Stichprobe eine Reihe von MCMC-Bewegungen ausführen müssen, aber jede Stichprobe ist in der Regel von sehr hoher Qualität, sodass Sie nicht so viele davon benötigen, bevor sich Ihre Schätzungen beruhigen.

Die andere Hauptalternative ist die sequentielle Wichtigkeitsabtastung. Meiner Meinung nach ist die Implementierung auch recht einfach, erfordert jedoch eine gewisse Vertrautheit mit dem sequentiellen Monte Carlo (AKA-Partikelfilterung), das mir fehlt.

Viel Glück!

Bearbeitet, um hinzuzufügen : Es sieht so aus, als ob der Radford Neal-Blog-Beitrag, auf den Sie verlinkt haben, auch Annealed Importance Sampling empfiehlt. Lassen Sie uns wissen, ob es für Sie gut funktioniert.

— David J. Harris
quelle

2

Dies könnte hilfreich sein, um die Berechnung der Grenzverteilung zu beleuchten. Außerdem würde ich empfehlen, eine von Friel und Pettitt eingeführte Methode durch Power Posteriors zu verwenden . Dieser Ansatz scheint ziemlich vielversprechend, obwohl er einige Einschränkungen aufweist. Oder Sie könnten die Approximation der posterioren Verteilung durch Normalverteilung Laplace: Wenn das Histogramm von MCMC symmetrisch und normal aussieht, könnte dies eine recht gute Approximation sein.

— Tomas
quelle