Effektive Probengröße für Rückschlüsse aus der MCMC-Probenahme

Was sind gute Anhaltspunkte für die minimale Anzahl effektiver Proben , die angestrebt werden sollten, wenn MCMC-Proben abgerufen werden, um Rückschlüsse auf einen bestimmten Parameter zu ziehen?

Und ändert sich dieser Ratschlag, wenn das Modell mehr oder weniger komplex wird?

— Matt Albrecht
quelle

Ich vermute, dass es wahrscheinlich von der "Konstante" im Fehler abhängen wird, der zwischen den Modellen variieren wird.

O (n^{- \frac{1}{2}})

$O(n^{-\frac{1}{2}})$

— Wahrscheinlichkeitslogik

Die Frage, die Sie stellen, unterscheidet sich von der "Konvergenzdiagnose". Nehmen wir an, Sie haben alle Konvergenzdiagnosen durchgeführt (wählen Sie Ihre Favoriten aus) und können jetzt mit der Probenahme von der posterioren Seite beginnen.

Bezüglich der effektiven Stichprobengröße (ESS) gibt es zwei Möglichkeiten. Sie können zwischen einem univariaten und einem multivariaten ESS wählen. Ein univariates ESS liefert eine effektive Stichprobengröße für jeden Parameter separat, und konservative Methoden bestimmen, dass Sie die kleinste Schätzung wählen. Diese Methode ignoriert alle Kreuzkorrelationen zwischen Komponenten. Dies ist wahrscheinlich, was die meisten Leute für eine Weile benutzt haben

Kürzlich wurde eine multivariate Definition von ESS eingeführt. Das multivariate ESS gibt eine Zahl für den effektiven Stichprobenumfang für die Mengen zurück, die Sie schätzen möchten. Dabei werden alle Kreuzkorrelationen berücksichtigt. Ich persönlich bevorzuge bei weitem multivariates ESS. Angenommen, Sie interessieren sich für den Vektor der Mittelwerte der posterioren Verteilung. Die mESS ist wie folgt definiert: $p$ Hier

mESS = n {(\frac{| Λ |}{| Σ |})}^{1 / p} .

$\text{mESS} = n \left(\dfrac{|\Lambda|}{|\Sigma|}\right)^{1/p}.$

ist die Kovarianzstruktur des Seitenzahns (auch die asymptotische Kovarianz in der CLT, wenn Sie unabhängige Stichproben hatten) $\Lambda$
ist die asymptotische Kovarianzmatrix in der Markov-Kette CLT (unterscheidet sich von da die Proben korreliert sind. $\Sigma$ $\Lambda$
ist die Anzahl der zu schätzenden Größen (oder in diesem Fall die Dimension des Seitenzahns). $p$
ist die Determinante. $|\cdot|$

mESS kann geschätzt werden, indem die Stichproben-Kovarianzmatrix zur Schätzung von und die Batch-Mittel-Kovarianzmatrix zur Schätzung von . Dies wurde in der Funktion im R-Paket mcmcse codiert . $\Lambda$ $\Sigma$ multiESS

Diese neue Veröffentlichung liefert eine theoretisch gültige Untergrenze der Anzahl der erforderlichen effektiven Proben. Vor der Simulation müssen Sie sich entscheiden

: die Präzision. ist der Fehleranteil, den Monte Carlo im Vergleich zum posterioren Fehler haben soll. Dies ähnelt der Fehlerquote bei der Berechnung der Stichprobengröße in der klassischen Umgebung. $\epsilon$ $\epsilon$
: das Niveau zum Konstruieren von Vertrauensintervallen. $\alpha$
: Die Anzahl der Mengen, die Sie schätzen. $p$

Mit diesen drei Mengen wissen Sie, wie viele effektive Proben Sie benötigen. Das Papier fordert Sie auf, die Simulation beim ersten Mal zu stoppen.

Chaos \geq \frac{2^{2 / p} π}{(p Γ (p / 2))^{2 / p}} \frac{χ_{1 - α, p}^{2}}{ϵ^{2}},

$\text{mESS} \geq \dfrac{2^{2/p} \pi}{(p \Gamma(p/2))^{2/p}} \dfrac{\chi^2_{1-\alpha, p}}{\epsilon^2},$

wobei die Gammafunktion ist. Diese Untergrenze kann mithilfe des R-Pakets mcmcse berechnet werden . $\Gamma(\cdot)$ minESS

Nehmen wir also an, Sie haben Parameter im posterioren Bereich und möchten Vertrauen in Ihre Schätzung und möchten, dass der Monte-Carlo-Fehler 5% ( ) des posterioren Fehlers , den Sie benötigen $p = 20$ $95\%$ $\epsilon = .05$

> minESS(p = 20, alpha = .05, eps = .05)
[1] 8716

Dies gilt für alle Probleme (unter normalen Bedingungen). Die Art und Weise, wie sich diese Methode von Problem zu Problem anpasst, besteht darin, dass das langsame Mischen von Markov-Ketten länger dauert, um diese Untergrenze zu erreichen, da mESS kleiner sein wird. Jetzt können Sie mehrmals überprüfen, multiESSob Ihre Markov-Kette diese Grenze erreicht hat. Wenn nicht, holen Sie sich mehr Proben.

— Greenparker
quelle

(+1) Ausgezeichnete Antwort. Wissen Sie, ob die Funktion multiESSfür andere Sprachen wie MATLAB codiert wurde? (Oder wäre es schwierig, wieder zu implementieren?)

— Lacerbi

Σ

$\Sigma$

Σ

$\Sigma$

@lacerbi Ich bin froh, dass du es in Matlab schreiben konntest. Wenn möglich, antworten Sie auf diesen Kommentar, wenn er verfügbar ist, damit ich ihn verwenden kann. Vielen Dank

— Greenparker

Meine MATLAB-Implementierung von multiESS finden Sie hier . Es ist eine funktionierende Version, obwohl es einige weitere Tests erfordern würde (ich bin nicht mit R vertraut, sonst würde ich es mit der R-Implementierung vergleichen).

— Lacerbi

Die Konvergenz hängt von mehreren Dingen ab: der Anzahl der Parameter, dem Modell selbst, dem Abtastalgorithmus, den Daten ...

Ich würde vorschlagen, generelle Regeln zu vermeiden und einige Konvergenzdiagnosewerkzeuge zu verwenden , um in jedem spezifischen Beispiel das richtige Einbrennen und die geringere Anzahl von Iterationen zu ermitteln. Siehe auch http://www.johnmyleswhite.com/notebook/2010/08/29/mcmc-diagnostics-in-r-with-the-coda-package/, http://users.stat.umn.edu/~geyer/mcmc/diag.html.

— Monte Christo
quelle