Gewährleistet der Gibbs-Sampling-Algorithmus einen detaillierten Abgleich?

Ich habe die höchste Autorität ^1, dass das Gibbs-Sampling ein Sonderfall des Metropolis-Hastings-Algorithmus für das Markov-Chain-Monte-Carlo-Sampling ist. Der MH-Algorithmus gibt immer eine Übergangswahrscheinlichkeit mit der detaillierten Balance-Eigenschaft an. Ich erwarte, dass Gibbs es auch sollte. Also, wo im folgenden einfachen Fall habe ich mich geirrt?

Für die Zielverteilung auf zwei diskrete (der Einfachheit halber) Variablen lauten die vollständigen bedingten Verteilungen: q 1 ( x ; y $\pi(x, y)$

$$\begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align}$$

Wie ich Gibbs Sampling verstehe, kann die Übergangswahrscheinlichkeit geschrieben werden:

$$Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1)$$

Die Frage ist, ob

$$\pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) \to (y_1, y_2)\},$$ aber der nächste, den ich bekommen kann, ist Das ist subtil anders und impliziert kein detailliertes Gleichgewicht. Vielen Dank für alle Gedanken! $$\begin{align} \pi(y_1,y_2) Prob\{(y_1, y_2) & \to (x_1, x_2)\} \\ & = \pi(y_1, y_2) q_2(x_2; x_1) q_1(x_1; y_2) \\ & = \frac{\pi(x_1, x_2)}{\sum_z \pi(x_1,z)}\frac{\pi(x_1, y_2)}{\sum_z \pi(z, y_2)}\pi (y_1, y_2) \\ & = \pi(x_1, x_2) q_2(y_2; x_1) q_1(y_1; y_2) \end{align}$$

Sie haben versucht, ein detailliertes Gleichgewicht für die Markov-Kette zu erhalten, indem Sie einen Übergang der Markov-Kette als "Gibbs-Sweep" betrachten, bei dem Sie jede Komponente nacheinander anhand ihrer bedingten Verteilung abtasten. Für diese Kette ist eine detaillierte Bilanz nicht zufriedenstellend. Der Punkt ist vielmehr, dass jede Abtastung einer bestimmten Komponente aus ihrer bedingten Verteilung ein Übergang ist, der ein detailliertes Gleichgewicht erfüllt. Genauer gesagt ist die Gibbs-Stichprobe ein Sonderfall eines leicht verallgemeinerten Metropolis-Hastings, bei dem Sie zwischen mehreren verschiedenen Vorschlägen wechseln. Weitere Details folgen.

Die Sweeps genügen nicht der detaillierten Balance

$X_1,X_2$

$$\begin{equation} \begin{array}{ccc} & X_2 = 0 & X_2 = 1 \\ X_1 = 0 & \frac{1}{3} & \frac{1}{3} \\ X_1 = 1 & 0 & \frac{1}{3} \end{array} \end{equation}$$ $X_1$$(0,0)$$(1,1)$$(0,0)$$(1,0)$$(1,1)$$(0,0)$$\frac{1}{4}$

Diese Kette hat jedoch immer noch eine stationäre Verteilung, die die richtige ist. Ein detaillierter Saldo ist eine ausreichende, aber nicht notwendige Bedingung für die Konvergenz mit der Zielverteilung.

Die komponentenweisen Bewegungen genügen einer detaillierten Ausgewogenheit

$(x_1,x_2)$$(y_1,y_2)$$x_2 \neq y_2$$x_2 = y_2$

$$\begin{equation} \pi(x_1,x_2) \mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2)) = \pi(x_1,x_2)\,p(y_1 \mid X_2 = x_2) = \pi(x_1,x_2) \, \frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)} \\ = \pi(y_1,x_2) \, \frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)} = \pi(y_1,x_2) \,p(x_1 \mid X_2 = x_2) = \pi(y_1,x_2) \mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2)). \end{equation}$$

Wie bewegen sich die Komponenten in Richtung Metropolis-Hastings?

$1$$(x_1, x_2)$$(y_1, y_2)$

$$\begin{equation} \frac{\pi(y_1,x_2)}{\pi(x_1,x_2)}. \end{equation}$$ $$\begin{equation} \frac{\mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2))}{\mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2))} = \frac{\frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)}}{\frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)}} = \frac{\pi(x_1,x_2)}{\pi(y_1,x_2)}. \end{equation}$$ Das Verhältnis der Zielwahrscheinlichkeiten und das Verhältnis der Vorschlagswahrscheinlichkeiten sind also Reziprozitäten, und somit wird die Akzeptanzwahrscheinlichkeit sein $1$. In diesem Sinne sind alle Züge im Gibbs-Sampler Spezialfälle von Metropolis-Hastings-Zügen. Der in diesem Licht betrachtete Gesamtalgorithmus ist jedoch eine leichte Verallgemeinerung des in der Regel vorgestellten Metropolis-Hastings-Algorithmus, da Sie zwischen verschiedenen Angebotsverteilungen wechseln können (eine für jede Komponente der Zielvariablen).