KL-Divergenz zwischen zwei multivariaten Gaußschen

Ich habe Probleme, die KL-Divergenzformel unter der Annahme von zwei multivariaten Normalverteilungen abzuleiten. Ich habe den univariaten Fall ziemlich leicht gemacht. Es ist jedoch eine Weile her, dass ich Mathe-Statistiken erstellt habe, und daher habe ich einige Probleme, diese auf den multivariaten Fall auszudehnen. Ich bin mir sicher, ich vermisse nur etwas Einfaches.

Folgendes habe ich ...

Angenommen, sowohl als auch sind die pdfs der Normalverteilungen mit den Mitteln und bzw. den Varianzen und . Der Kullback-Leibler-Abstand von zu ist: $p$ $q$ $\mu_1$ $\mu_2$ $\Sigma_1$ $\Sigma_2$ $q$ $p$

$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$ , was für zwei multivariate Normalen gilt:

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

Nach der gleichen Logik wie dieser Beweis komme ich hierher, bevor ich stecke:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

Ich glaube, ich muss den Trace-Trick implementieren , bin mir aber nicht sicher, was ich danach tun soll. Alle hilfreichen Tipps, um mich wieder auf den richtigen Weg zu bringen, wären willkommen!

normal-distribution kullback-leibler proof

— dmartin
quelle

stanford.edu/~jduchi/projects/general_notes.pdf . Der letzte Abschnitt gibt auch die Ableitung.

— user3540823

Angefangen von dem Punkt, an dem Sie mit einigen geringfügigen Korrekturen begonnen haben, können wir schreiben

\begin{aligned} K L & = \int [\frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} (x - μ_{1})^{T} Σ_{1}^{- 1} (x - μ_{1}) + \frac{1}{2} (x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \times p (x) d x \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {E [(x - μ_{1}) (x - μ_{1})^{T}] Σ_{1}^{- 1}} + \frac{1}{2} E [(x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {I_{d}} + \frac{1}{2} (μ_{1} - μ_{2})^{T} Σ_{2}^{- 1} (μ_{1} - μ_{2}) + \frac{1}{2} tr {Σ_{2}^{- 1} Σ_{1}} \\ = \frac{1}{2} [\log \frac{| Σ_{2} |}{| Σ_{1} |} - d + tr {Σ_{2}^{- 1} Σ_{1}} + (μ_{2} - μ_{1})^{T} Σ_{2}^{- 1} (μ_{2} - μ_{1})] . \end{aligned}

$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$

Beachten Sie, dass ich einige Eigenschaften aus Abschnitt 8.2 des Matrix-Kochbuchs verwendet habe .

— Ramhiser
quelle

Ich sehe, Sie haben das D herausgenommen, das ich ursprünglich hatte. Hätten Sie nicht ein D-Semester, nachdem Sie in den ersten Schritten das Protokoll des Gaußschen aufgenommen haben?

— dmartin

Betrachten Sie den Skalierungsfaktor , der multivariaten Normaldichte. Bei der Berechnung der log-Differenz Term . Es gibt keinen Term für die Determinanten - einfach eine , die ausgeklammert wird.

(2 π)^{- d / 2} | Σ_{k} |^{- 1 / 2}

$(2\pi)^{-d/2} |\Sigma_k|^{-1/2}$

k = 1, 2

$k = 1,2$

(2 π)^{- d / 2}

$(2\pi)^{-d/2}$

d

$d$

1 / 2

$1/2$

— Ramhiser

Überhaupt kein Problem. Froh, dass ich helfen konnte.

— Ramhiser

Hallo, wie bist du auf den letzten Schritt gekommen? Wie haben Sie das Vorzeichen von in ?

μ_{1} - μ_{2}

$\mu_1 - \mu_2$

μ_{2} - μ_{1}

$\mu_2 - \mu_1$

— acidghost

@acidghost Entweder funktioniert es, weil wir von beiden Seiten ein negatives herausfiltern können. Multiplizieren der beiden negativen ergibt eine positive.

— Ramhiser