Was ist der Maximalwert der Kullback-Leibler (KL) -Divergenz?

Ich werde KL-Divergenz in meinem Python-Code verwenden und habe dieses Tutorial erhalten .

In diesem Tutorial ist die Implementierung der KL-Divergenz recht einfach.

kl = (model * np.log(model/actual)).sum()

Soweit ich weiß, sollte die Wahrscheinlichkeitsverteilung von modelund actual<= 1 sein.

Meine Frage ist, was ist die maximale Schranke / der maximal mögliche Wert von k ?. Ich muss den maximal möglichen Wert von kl distance kennen, wie für die maximale Grenze in meinem Code.

Oder sogar mit der gleichen Unterstützung, wenn eine Distribution einen viel dickeren Schwanz hat als die andere. Nimm

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ wenn $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ dann $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ und $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$ Es gibt andere Abstände, die begrenzt bleiben, wie z

• die $L¹$ Distanz, die der gesamten Variationsdistanz entspricht,
• die Wassersteinabstände
• die Hellinger Entfernung

Für Distributionen, die nicht die gleiche Unterstützung haben, ist die KL-Divergenz nicht begrenzt. Schauen Sie sich die Definition an:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

Wenn P und Q nicht die gleiche Unterstützung haben, gibt es einen Punkt dem p ( x ' ) ≠ 0 und q ( x ' ) = 0 sind , wodurch KL ins Unendliche geht. Dies gilt auch für diskrete Verteilungen, wie dies bei Ihnen der Fall ist.$x'$$p(x') \neq 0$$q(x') = 0$

Edit: Vielleicht wäre eine bessere Wahl, um die Divergenz zwischen Wahrscheinlichkeitsverteilungen zu messen, die sogenannte Wasserstein-Distanz, die eine Metrik ist und bessere Eigenschaften hat als die KL-Divergenz. Es ist aufgrund seiner Anwendungen im Deep-Learning-Bereich sehr beliebt geworden (siehe WGAN-Netzwerke).

Um die hervorragenden Antworten von Carlos und Xi'an zu ergänzen , ist es auch interessant festzustellen, dass eine ausreichende Bedingung für die Endlichkeit der KL-Divergenz darin besteht, dass beide Zufallsvariablen den gleichen kompakten Träger haben und dass die Referenzdichte begrenzt wird . Dieses Ergebnis legt auch eine implizite Grenze für das Maximum der KL-Divergenz fest (siehe Satz und Beweis unten).

---

Satz: Wenn die Dichten und q den gleichen kompakten Träger X haben und die Dichte p an diesen Träger gebunden ist (dh eine endliche Obergrenze hat), dann ist K L ( P | | Q ) < ∞ .$p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

Beweis: Da kompakte Unterstützung X hat, bedeutet dies, dass es einen positiven Infimumwert gibt:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

Ebenso, da kompakte Unterstützung hat$p$ hat, dass es einen positiven Supremum-Wert gibt:$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

Da diese beiden Dichten auf dem gleichen Träger sind und diese begrenzt ist, haben wir . Das bedeutet, dass:$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

Wenn die letzte obere Schranke ist, haben wir eindeutig 0 ⩽ L _ < ∞, so dass:$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

$\blacksquare$