Wie leitet man Gibbs-Sampling ab?

Ich zögere tatsächlich, dies zu fragen, weil ich befürchte, dass ich auf andere Fragen oder Wikipedia zu Gibbs-Stichproben verwiesen werde, aber ich habe nicht das Gefühl, dass sie beschreiben, was zur Hand ist.

Bei einer bedingten Wahrscheinlichkeit $p(x|y)$ :

$$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$$

Und eine bedingte Wahrscheinlichkeit $p(y|x)$ :

$$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$$

Wir können die gemeinsame Wahrscheinlichkeit eindeutig ermitteln $f_{unique}=p(x,y)$:

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$$

Denn obwohl wir Unbekannte haben, haben wir mehr ( 4 ∗ 2 + 3 ) lineare Gleichungen:$8$$4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

Ebenso gut wie:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

Es ist schnell gelöst durch ,$c_0=\tfrac{3}{4}b_0$. Nämlich durch Gleichsetzen von$\tfrac{2}{3}c_0=a_1$mit$\tfrac{2}{4}b_0=a_1$. Dies ergibtb0$\tfrac{2}{6}(1-b_0)=a_1$ und der Rest folgt.$b_0=\tfrac{2}{5}$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$$

Nun gehen wir zum kontinuierlichen Fall. Es ist vorstellbar, zu Intervallen zu gehen und die obige Struktur in Kontakt zu halten (mit mehr Gleichungen als Unbekannten). Was passiert jedoch, wenn wir zu (Punkt-) Instanzen von Zufallsvariablen gehen? Wie erfolgt die Probenahme?

$$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$$

iterativ zu ? Wie wird entsprechend der Bedingung a 0 + a 1 + a 2 + a 3 = 1 beispielsweise ∫ X ∫ Y p ( x , y ) d y d x = 1 sichergestellt ? Ebenso mit ∫ Y p ( y | x ) d y = $p(x,y)$$a_0 + a_1 + a_2 + a_3=1$$\int_X \int_Y p(x,y) dy dx = 1$$\int_Y p(y|x)dy=1$. Können wir die Einschränkungen aufschreiben und Gibbs-Stichproben aus ersten Prinzipien ableiten?

Ich bin also nicht daran interessiert, wie Gibbs-Sampling durchgeführt wird, was einfach ist, aber ich bin daran interessiert, wie man es ableitet und vorzugsweise beweist, dass es funktioniert (wahrscheinlich unter bestimmten Bedingungen).

Die Berechnung einer gemeinsamen Verteilung aus bedingten Verteilungen ist im Allgemeinen sehr schwierig. Wenn die bedingten Verteilungen willkürlich gewählt werden, existiert möglicherweise nicht einmal eine gemeinsame gemeinsame Verteilung. In diesem Fall ist es im Allgemeinen schwierig zu zeigen, dass die bedingten Verteilungen konsistent sind. Ein Ergebnis, das zur Ableitung einer gemeinsamen Verteilung verwendet werden könnte, ist Brooks Lemma .

$$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$$ durch Auswahl eines festen Zustands $\mathbf{x}'$, obwohl ich es selbst nie erfolgreich für diesen Zweck verwendet habe. Um mehr zu diesem Thema zu erfahren, würde ich mir Julian Besags Arbeit ansehen.

Um zu beweisen, dass Gibbs Sampling funktioniert, ist es jedoch besser, einen anderen Weg einzuschlagen. Wenn eine durch einen Stichprobenalgorithmus implementierte Markov-Kette verteilt ist$p$Als invariante Verteilung und irreduzibel und aperiodisch konvergiert die Markov-Kette zu dieser Verteilung (Tierney, 1994). .

Bei der Gibbs-Abtastung bleibt die gemeinsame Verteilung immer unveränderlich, aus der die bedingten Verteilungen abgeleitet wurden: Ungefähr, wenn $(x_0, y_0) \sim p(x_0, y_0)$ und wir probieren $x_1 \sim p(x_1 \mid y_0)$, dann

$$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$$

That is, updating $x$ by conditionally sampling does not change the distribution of the sample.

However, Gibbs sampling is not always irreducible. While we can always apply it without breaking things (in the sense that if we already have a sample from the desired distribution it will not change the distribution), it depends on the joint distribution whether Gibbs sampling will actually converge to it (a simple sufficient condition for irreducibility is that the density is positive everywhere, $p(\mathbf{x}) > 0$).