Kombination mehrerer paralleler MCMC-Ketten zu einer längeren Kette

Nehmen wir an, man hat parallele MCMC-Ketten ausgeführt, in denen jede Kette eingebrannt ist. Die resultierenden Ketten seien mit wobei die Länge jeder Kette danach ist verbrennen in. $m$

x_{1}^{(i)}, \dots, x_{N}^{(i)} for i = 1, \dots, m,

$x_1^{(i)},\dots,x_N^{(i)} \quad \text{ for } i=1,\dots,m,$

N

$N$

Wenn man diese Ketten zu einer langen Kette kombinieren möchte, ist es so einfach, sie zu verketten wie

x_{1}^{(1)}, \dots, x_{N}^{(1)}, \dots, x_{1}^{(m)}, \dots, x_{N}^{(m)} ?

$x_1^{(1)},\dots,x_N^{(1)},\dots, x_1^{(m)},\dots, x_N^{(m)} ?$

In meinem Fall ist jedes ein Parametervektor . Mein Ziel ist es, aus dem hinteren zu probieren wobei die Daten sind. Der Grund, warum ich mich für Parallelketten interessiere, liegt darin, dass sie zur Berechnung des potenziellen Skalenreduktionsfaktors (PSRF) benötigt werden. $x_i$ $\theta_i$

p (θ ∣ y),

$p(\theta \mid y),$

y

$y$

mcmc parallel-computing

— Lotus3000
quelle

Beachten Sie, dass einzelne Ketten eine serielle Abhängigkeit haben. Werte aus separaten Ketten funktionieren nicht. Wenn Sie also möchten, dass sie wie eine lange Kette aussehen, würde es nicht richtig aussehen, sie nur zu verketten.

Wenn Sie jedoch nur an der Verteilung interessiert sind, spielt die Reihenfolge in der Kette keine Rolle. Sie versuchen nicht wirklich, die Ketten dafür zu verketten, sondern möchten einfach alle Verteilungsinformationen zusammenfassen (behandeln Sie sie als eine große Stichprobe). Wenn die Ketten alle zu ihrer stationären Verteilung konvergiert sind, handelt es sich sicherlich um Stichproben derselben Verteilung - Sie können diese kombinieren.

In der Tat führen einige Leute eine Einbrennphase durch und ziehen nur einen einzigen Wert aus vielen getrennten Ketten.

(Wenn Sie die Läufe getrennt halten, können Sie möglicherweise beurteilen, ob sie tatsächlich konvergiert haben.)

Wenn Sie jedoch eine Varianz berechnen, die die Abhängigkeitsstruktur berücksichtigt, würden Sie sie auf die Tatsache stützen, dass die verschiedenen Läufe unabhängig sind, die Werte innerhalb desselben Laufs jedoch abhängig sind.

— Glen_b -Reinstate Monica
quelle

\hat{θ} = \frac{\sum_{i = 1}^{m} \sum_{j = 1}^{N} θ_{j}^{(i)}}{n m} ?

$\hat{\theta} = \frac{ \sum_{i=1}^m \sum_{j=1}^N \theta_j^{(i)}}{nm}?$

Ja. Es ist nur die Varianz, die (etwas) schwierig ist.

— Glen_b -State Monica

Ist das Gibbs oder etwas anderes?

— Glen_b -State Monica

Metropolis-Hastings

— Lotus3000

Oh, okay, kein Problem. Ich wollte nur einen anderen Schätzer vorschlagen, wenn es Gibbs war.

— Glen_b -State Monica