Warum ist eine geringe Autokorrelation in MCMC wünschenswert?

11

Ich lese immer wieder über die Notwendigkeit, in MCMC nach Autokorrelation zu suchen. Warum ist es wichtig, dass die Autokorrelation niedrig ist? Was misst es im Kontext von MCMC?

sampling autocorrelation mcmc

— Amelio Vazquez-Reina
quelle

3

Wenn man in einem MCMC-Probenehmer eine hohe negative Autokorrelation erzeugen könnte, würde dieser Probenehmer die iid-Probenahme verbessern. Dies ist jedoch ein sehr seltenes Ereignis ...

— Xi'an

4

Die Autokorrelation ist ein Maß dafür, wie stark der Wert eines Signals zu verschiedenen Zeitpunkten mit anderen Werten dieses Signals korreliert. Im Kontext von MCMC ist die Autokorrelation ein Maß dafür, wie unabhängig verschiedene Proben von Ihrer posterioren Verteilung sind - eine geringere Autokorrelation zeigt unabhängigere Ergebnisse an.

Wenn Sie eine hohe Autokorrelation haben, stellen die von Ihnen gezogenen Proben die posteriore Verteilung nicht genau dar und liefern daher keine aussagekräftigen Informationen für die Lösung des Problems. Mit anderen Worten bedeutet eine geringere Autokorrelation eine höhere Effizienz in Ihren Ketten und bessere Schätzungen. Eine allgemeine Regel wäre, dass je niedriger Ihre Autokorrelation ist, desto weniger Stichproben Sie benötigen, damit die Methode effektiv ist (dies könnte jedoch zu einfach sein).

— Henry Hammond
quelle

Ich habe nicht viel Hintergrundwissen mit MCMC, aber Ihr letzter Satz scheint nicht zu einfach zu sein. Wenn Sie sich die Auswirkung von Autokorrelationen auf Ihre Fehlerschätzungen ansehen, ändern sie den Wert von zu wobei die Autokorreltionszeit ist, die an denselben Observablen gemessen wird . So ist es nur wie mit 'effektive Messung' anstelle von . Gibt es noch eine gewisse Vereinfachung in dieser Aussage?

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

— Lernen ist ein Chaos

10

Erstens und am offensichtlichsten, wenn die Autokorrelation hoch ist, geben N Stichproben Ihnen nicht N Informationen über Ihre Verteilung, sondern weniger. Die effektive Stichprobengröße (ESS) ist ein Maß dafür, wie viele Informationen Sie tatsächlich erhalten (und ist eine Funktion des Autokorrelationsparameters).

In ähnlicher Weise liefert die Autokorrelation "kurzfristig" nicht repräsentative Stichproben. Darüber hinaus ist die „kurzfristige“ Laufzeit umso länger, je mehr Autokorrelation vorhanden ist. Bei einer sehr starken Autokorrelation kann die kurzfristige Laufzeit einen guten Bruchteil Ihrer gesamten Stichproben ausmachen. Die üblichen direkten Abhilfemaßnahmen sind Neuparametrierungs- oder Stichprobenparameter, von denen Sie erwarten, dass sie in Blöcken und nicht separat miteinander korreliert werden, da sie sonst eine Autokorrelation in der Kette erzeugen. Menschen sind oft auch "dünn", obwohl es einige Diskussionen darüber gibt, wie nützlich dies bei der Lösung des zugrunde liegenden Problems ist, z . B. hier . Kass 1997 ist eine informelle Diskussion der Themen, obwohl es wahrscheinlich etwas Neueres gibt, das andere empfehlen können.

Kurz gesagt, eine stark autokorrelierte Kette benötigt länger, um von ihren Startbedingungen zur gewünschten Zielverteilung zu gelangen, ist jedoch weniger informativ und benötigt länger, um diese Verteilung zu untersuchen, wenn sie dort ankommt.

— Konjugatprior
quelle