Beziehung zwischen Variation Bayes und EM

Ich habe irgendwo gelesen, dass die Variational Bayes-Methode eine Verallgemeinerung des EM-Algorithmus ist. In der Tat sind die iterativen Teile der Algorithmen sehr ähnlich. Um zu testen, ob der EM-Algorithmus eine spezielle Version der Variational Bayes ist, habe ich Folgendes versucht:

$Y$ ist Daten, ist die Sammlung latenter Variablen und ist die Parameter. In Variational Bayes können wir eine Näherung machen, so dass . Wo einfacher sind, können Verteilungen gezogen werden. $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
Da der EM-Algorithmus eine MAP-Punktschätzung findet, dachte ich, dass Variational Bayes zu EM konvergieren können, wenn ich eine Delta-Funktion verwende, so dass: . ist die erste Schätzung für die Parameter, wie sie normalerweise in EM durchgeführt werden. $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
Wenn gegeben ist, wird das die KL-Divergenz minimiert, durch die Formel Die obige Formel vereinfacht sich zu , wobei sich herausstellt, dass dieser Schritt dem Erwartungsschritt entspricht des EM-Algorithmus! $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$
${Q.}_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y., Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y., Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

Aber ich kann den Maximierungsschritt nicht als Fortsetzung davon ableiten. Im nächsten Schritt müssen wir berechnen und laut Variational Bayes-Iterationsregel ist dies: $Q^2_\Theta(\Theta)$

{Q.}_{Θ}^{2} (Θ) = \frac{\exp (E_{P (X | Θ^{1}, Y.)} [\ln P (X, Y., Θ)])}{\int \exp (E_{P (X | Θ^{1}, Y.)} [\ln P (X, Y., Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

Sind VB- und EM-Algorithmen wirklich auf diese Weise verbunden? Wie können wir EM als Sonderfall der Variational Bayes ableiten, stimmt mein Ansatz?

bayesian expectation-maximization variational-bayes

— Ufuk Can Bicici
quelle

Wo haben Sie gelesen, dass der EM-Algorithmus eine MAP-Schätzung findet? Die Beziehung zwischen Variationsinferenz und EM wird klar, wenn Sie die Ansicht von EM verstehen, die in diesem Artikel von Neal & Hinton (1998) vorgestellt wird . Siehe auch meine Antwort hier .

— Lucas

Ich glaube, ich habe den EM-Algorithmus auf die gleiche Weise gelernt, wie in diesem Artikel erklärt, er wird als Problem der Maximierung der Untergrenze angesehen. Unter Verwendung von Jensens Gleichheit und Variationsrechnung findet man, dass im Erwartungsschritt die Verteilung ist, die die Untergrenze für maximiert, und im Maximierungsschritt findet man , was ein Maximum an der unteren Schranke ist. Das ist also ähnlich wie bei den Variational Bayes. (Und es konvergiert zu einem lokalen Maximum des hinteren

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— Randes

Entschuldigung, ich habe Ihre Frage nicht sorgfältig genug gelesen. Ich glaube, Ihr Maximierungsschritt zur Berechnung von ist nur gültig, wenn Sie eine Verteilung zulassen, dh wenn Sie nur die Faktorisierungsannahme machen. Sie haben aber zusätzlich angenommen, dass eine Delta-Verteilung ist. Versuchen Sie, die Untergrenze in Bezug auf , den Parameter von , explizit zu maximieren .

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— Lucas

Ich fand auf der Seite 21 der Präsentation cs.cmu.edu/~tom/10-702/Zoubin-702.pdf einen Vergleich von EM und VB, ähnlich wie bei Verwendung der Dirac-Funktion. Es ist jedoch nicht angegeben, wie VB zu EM reduziert wird.

— Ufuk Can Bicici

Ihr Ansatz ist richtig. EM ist äquivalent zu VB unter der Bedingung, dass der ungefähre hintere Teil von auf eine Punktmasse beschränkt ist. (Dies wird ohne Beweis auf Seite 337 der Bayesian Data Analysis erwähnt .) Sei der unbekannte Ort dieser Punktmasse: VB wird minimiere die folgende KL-Divergenz: Das Minimum über gibt den E-Schritt von EM an, und das Minimum über gibt den M-Schritt von EM an. $\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q. | | P) = \int \int {Q.}_{X} (X) {Q.}_{Θ} (Θ) \ln \frac{{Q.}_{X} (X) {Q.}_{Θ} (Θ)}{P (X, Y., Θ)} d X d Θ = \int {Q.}_{X} (X) \ln \frac{{Q.}_{X} (X) {Q.}_{Θ} (Θ^{*})}{P (X, Y., Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

Wenn Sie die KL-Divergenz tatsächlich bewerten würden, wäre sie natürlich unendlich. Dies ist jedoch kein Problem, wenn Sie die Delta-Funktion als Grenze betrachten.

— Tom Minka
quelle

Technisch gesehen wird wrt entspricht dem M-Schritt von MAP-EM (mit vorherigem ). - Abschnitt 3.1 des VBEM-Papiers

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Yibo Yang,