Schätzen Sie die Divergenz von Kullback Leibler (KL) mit Monte Carlo

9

Ich möchte die KL-Divergenz zwischen zwei kontinuierlichen Verteilungen f und g abschätzen. Ich kann jedoch weder für f noch für g die Dichte aufschreiben. Ich kann sowohl von f als auch von g über eine Methode (zum Beispiel Markov Chain Monte Carlo) probieren.

Die KL-Divergenz von f nach g ist wie folgt definiert

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx$

Dies ist die Erwartung von in Bezug auf f, sodass Sie sich eine Monte-Carlo-Schätzung vorstellen können $\log\left(\frac{f(x)}{g(x)}\right)$

\frac{1}{N} \sum_{i}^{N} \log (\frac{f (x_{i})}{g (x_{i})})

$\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right)$

Wobei i N Stichproben indiziert, die aus f gezogen werden (dh für i = 1, ..., N) $x_i \sim f()$

Da ich jedoch f () und g () nicht kenne, kann ich diese Monte-Carlo-Schätzung nicht einmal verwenden. Was ist die Standardmethode zur Schätzung des KL in dieser Situation?

EDIT: Ich kenne die nicht normalisierte Dichte weder für f () noch für g ()

kullback-leibler

— frelk
quelle

Haben Sie überlegt, die ecdfs zu verwenden?

— Toby

Dies wird funktionieren, kann jedoch für die schwierige Wahl von f und g (nahe oder nahe Schwänze) beliebig langsam sein. Wenn Sie sich entscheiden, Proben außerhalb des Schwanzes zu ignorieren, haben Sie möglicherweise mehr Glück mit der Obergrenze des Roc.

— Enthdegree

Im Wesentlichen ein Duplikat: stats.stackexchange.com/questions/211175/…

— kjetil b halvorsen

6

Hier gehe ich davon aus, dass Sie nur von den Modellen probieren können; Eine nicht normalisierte Dichtefunktion ist nicht verfügbar.

Du schreibst das

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\underset{=: r}{\underset{⏟}{\frac{f (x)}{g (x)}}}) d x,

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\underbrace{\frac{f(x)}{g(x)}}_{=: r}\right) dx,$

wo ich das Verhältnis der Wahrscheinlichkeiten zu . Alex Smola schreibt, obwohl in einem anderen Kontext, dass Sie diese Verhältnisse "leicht" schätzen können, indem Sie nur einen Klassifikator trainieren. Nehmen wir an, Sie haben einen Klassifikator , der Ihnen die Wahrscheinlichkeit angibt, dass eine Beobachtung durch erzeugt wurde . Man beachte, dass . Dann: $r$ $p(f|x)$ $x$ $f$ $p(g|x) = 1 - p(f|x)$

r = \frac{p (x | f)}{p (x | g)} = \frac{p (f | x) p (x) p (g)}{p (g | x) p (x) p (f)} = \frac{p (f | x)}{p (g | x)},

$r = \frac{p(x|f)}{p(x|g)} \\ = \frac{p(f|x) {p(x) p(g)}}{p(g|x)p(x) p(f)} \\ = \frac{p(f|x)}{p(g|x)},$

wobei der erste Schritt auf Bayes zurückzuführen ist und der letzte aus der Annahme folgt, dass . $p(g) = p(f)$

Das Erhalten eines solchen Klassifikators kann aus zwei Gründen recht einfach sein.

Zunächst können Sie stochastische Updates durchführen. Das heißt, wenn Sie einen gradientenbasierten Optimierer verwenden, wie er für logistische Regression oder neuronale Netze typisch ist, können Sie einfach aus jedem und eine Stichprobe ziehen und eine Aktualisierung vornehmen. $f$ $g$

Zweitens, da Sie praktisch unbegrenzte Daten haben - Sie können und einfach zu Tode abtasten -, müssen Sie sich keine Gedanken über Überanpassung oder ähnliches machen. $f$ $g$

— bayerj
quelle

6

Ich gehe davon aus, dass Sie und bis zu einer Normalisierungskonstante auswerten können . Bezeichne und . $f$ $g$ $f(x) = f_u(x)/c_f$ $g(x) = g_u(x)/c_g$

Ein konsistenter Schätzer, der verwendet werden kann, ist wobei ist ein Schätzer für die für das Verhältnis . Hier können Sie verwenden und als Instrumentaldichten für und sind und die Log - Verhältnis von nicht normalisierten Dichten Ziel.

\hat{D_{K L}} (f | | g) = {[n^{- 1} \sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})]}^{- 1} \frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] - \log (\hat{r})

$\widehat{D_{KL}}(f || g) = \left[n^{-1} \sum_j f_u(x_j)/\pi_f(x_j)\right]^{-1}\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] - \log (\hat{r})$

\begin{matrix} (1) & \hat{r} = \frac{1 / n}{1 / n} \frac{\sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})}{\sum_{j} g_{u} (y_{j}) / π_{g} (y_{j})} . \end{matrix}

$\hat{r} = \frac{1/n}{1/n}\frac{\sum_j f_u(x_j)/\pi_f(x_j)}{\sum_j g_u(y_j)/\pi_g(y_j)} \tag{1}.$

c_{f} / c_{g}

$c_f/c_g$

π_{f}

$\pi_f$

π_{g}

$\pi_g$

f_{u}

$f_u$

g_{u}

$g_u$

π_{r}

$\pi_r$

Lassen Sie also , und . Der Zähler von (1) konvergiert gegen . Der Nenner konvergiert gegen . Das Verhältnis ist durch den Satz der kontinuierlichen Abbildung konsistent. Das Protokoll des Verhältnisses wird durch erneutes kontinuierliches Mapping konsistent. $\{x_i\} \sim \pi_f$ $\{y_i\} \sim \pi_g$ $\{z_i\} \sim \pi_r$ $c_f$ $c_g$

In Bezug auf den anderen Teil des Schätzers ist nach dem Gesetz der großen Zahlen.

\frac{1}{N.} \sum_{ich}^{N.} [Log (\frac{f_{u} (z_{ich})}{G_{u} (z_{ich})}) \frac{f_{u} (z_{ich})}{π_{r} (z_{ich})}]] \overset{wie}{\to} c_{f} E. [Log (\frac{f_{u} (z_{ich})}{G_{u} (z_{ich})})]]

$\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] \overset{\text{as}}{\to} c_f E\left[ \log\left(\frac{f_u(z_i)}{g_u(z_i)}\right) \right]$

Meine Motivation ist folgende:

\begin{aligned} {D.}_{K. L.} (f | | G) & = \int_{- - \infty}^{\infty} f (x) Log (\frac{f (x)}{G (x)}) d x \\ = \int_{- - \infty}^{\infty} f (x) {Log [\frac{f_{u} (x)}{G_{u} (x)}]] + Log [\frac{c_{G}}{c_{f}}]]}} d x \\ = {E.}_{f} [Log \frac{f_{u} (x)}{G_{u} (x)}]] + Log [\frac{c_{G}}{c_{f}}]] \\ = c_{f}^{- - 1} {E.}_{π_{r}} [Log \frac{f_{u} (x)}{G_{u} (x)} \frac{f_{u} (x)}{π_{r} (x)}]] + Log [\frac{c_{G}}{c_{f}}]] . \end{aligned}

$\begin{align*} D_{KL}(f || g) &= \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx \\ &= \int_{-\infty}^{\infty} f(x)\left\{ \log \left[\frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right]\right\} dx \\ &= E_f\left[\log \frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right] \\ &= c_f^{-1} E_{\pi_r}\left[\log \frac{f_u(x)}{g_u(x)}\frac{f_u(x)}{\pi_r(x)} \right] + \log \left[\frac{c_g}{c_f} \right]. \end{align*}$ Also zerlege ich es einfach in handhabbare Teile.

Für weitere Ideen zur Simulation des Wahrscheinlichkeitsverhältnisses habe ich ein Papier gefunden, das einige enthält: https://projecteuclid.org/download/pdf_1/euclid.aos/1031594732

— Taylor
quelle

(+1) Hier ist anzumerken, dass die Wichtigkeitsabtastung eine extrem hohe Varianz (sogar eine unendliche Varianz) aufweisen kann, wenn die Zielverteilung dickere Schwänze aufweist als die Verteilung, aus der Sie die Abtastung vornehmen, und / oder die Anzahl der Dimensionen überhaupt groß ist.

— David J. Harris

@ DavidJ.Harris sehr sehr wahr

— Taylor

0

Neben der von @bayerj erwähnten probabilistischen Klassifikatormethode können Sie auch die in [1-2] abgeleitete Untergrenze der KL-Divergenz verwenden:

K. L. [f ‖ G]] \geq sup_{T.} {{E.}_{x \sim f} [T. (x)]] - - {E.}_{x \sim G} [\exp (T. (x) - - 1)]]}},

$\mathrm{KL}[f \Vert g] \ge \sup_{T} \left\{ \mathbb{E}_{x\sim f}\left[ T(x) \right] - \mathbb{E}_{x\sim g} \left[ \exp \left( T(x) - 1 \right)\right] \right\},$ wobei beliebig ist Funktion. Unter einigen milden Bedingungen ist die Grenze eng für:

T : X \to R

$T:\mathcal{X}\to\mathbb{R}$

T. (x) = 1 + \ln [\frac{f (x)}{G (x)}]]

$T(x) = 1 + \ln \left[ \frac{f(x)}{g(x)} \right]$

Um die KL-Divergenz zwischen und abzuschätzen , maximieren wir die Untergrenze für die Funktion . $f$ $g$ $T(x)$

Verweise:

[1] Nguyen, X., Wainwright, MJ und Jordan, MI, 2010. Schätzung der Divergenzfunktionen und des Wahrscheinlichkeitsverhältnisses durch konvexe Risikominimierung. IEEE Transactions on Information Theory, 56 (11), S. 5847-5861.

[2] Nowozin, S., Cseke, B. und Tomioka, R., 2016. f-gan: Training generativer neuronaler Probenehmer unter Verwendung der Minimierung der Variationsdivergenz. Fortschritte in neuronalen Informationsverarbeitungssystemen (S. 271-279).

— Cuong
quelle