Warum ist KL-Divergenz nicht negativ?

Warum ist die KL-Divergenz nicht negativ?

Aus informationstheoretischer Sicht verstehe ich das so intuitiv:

Angenommen, es gibt zwei Ensembles $A$ und $B$ die aus der gleichen Menge von Elementen bestehen, die mit $x$ . $p(x)$ und $q(x)$ sind verschiedene Wahrscheinlichkeitsverteilungen über ensemble und jeweils.$A$$B$

Aus informationstheoretischer Sicht ist $\log_{2}(P(x))$ die kleinste Menge von Bits, die zum Aufzeichnen eines Elements $x$ für Ensemble erforderlich ist $A$. Damit ist die Erwartung

$$\sum_{x \in ensemble}-p(x)\ln(p(x))$$ als mindestens wie viele Bits interpretiert werden, die wir imDurchschnittzum Aufzeichnen eines Elements in benötigen$A$.

Da diese Formel eine untere Schranke für die Bits setzt, die wir im Durchschnitt benötigen, so dass für ein anderes Ensemble $B$ das eine andere Wahrscheinlichkeitsverteilung bewirkt $q(x)$, die Schranke, die es für jedes Element $x$ gibt, mit Sicherheit kein Bit ist gegeben durch $p(x)$ , was bedeutet, dass die Erwartung genommen wird,

$$\sum_{x\in ensemble}-p(x)\ln(q(x))$$ diese durchschnittliche Länge wird sicherlich größer sein als die erstere, was zu
setze ich hier nicht≥, dap(x)undq(x)unterschiedlich sind. $$\sum_{x\in ensemble }p(x)\frac{\ln(p(x))}{\ln(q(x))} > 0$$ $\ge$$p(x)$$q(x)$

Dies ist mein intuitives Verständnis. Gibt es eine rein mathematische Methode, um zu beweisen, dass die KL-Divergenz nicht negativ ist? Das Problem kann wie folgt angegeben werden:

Angesichts und q ( x ) beide positiv über reale Linie und ∫ + ∞ - ∞ p ( x ) d x = 1 , ∫ + ∞ - ∞ q ( x ) d x = 1 . Beweisen Sie, dass ∫ + ∞ - ∞ p ( x ) ln p ( x $p(x)$$q(x)$$\int_{-\infty}^{+\infty}p(x)dx = 1$$\int_{-\infty}^{+\infty}q(x)dx = 1$ ist nicht negativ.

$$\int_{-\infty}^{+\infty}p(x)\ln\frac{p(x)}{q(x)}$$

Wie kann das bewiesen werden? Oder kann dies ohne zusätzliche Bedingungen bewiesen werden?

Beweis 1:

Beachten Sie zunächst, dass für alle a > $\ln a \leq a-1$$a \gt 0$ .

Wir werden nun zeigen, dass was bedeutet, dass D K L ( p | | q ) ≥ $-D_{KL}(p||q) \leq 0$$D_{KL}(p||q) \geq 0$

$$\begin{align} -D(p||q)&=-\sum_x p(x)\ln \frac{p(x)}{q(x)}\\ &= \sum_x p(x)\ln \frac{q(x)}{p(x)}\\ &\stackrel{\text{(a)}}{\leq} \sum_x p(x)\left(\frac{q(x)}{p(x)}-1\right)\\ &=\sum_x q(x) - \sum_x p(x)\\ &= 1 - 1\\ &= 0 \end{align}$$

For inequality (a) we used the $\ln$ inequality explained in the beginning.

Alternatively you can start with Gibbs' inequality which states:

$$-\sum_x p(x) \log_2 p(x) \leq -\sum_x p(x)\log_2 q(x)$$

Then if we bring the left term to the right we get:

$$\sum_x p(x) \log_2 p(x) - \sum_x p(x)\log_2 q(x)\geq 0 \\ \sum_x p(x)\log_2 \frac{p(x)}{q(x)}\geq 0$$

The reason I am not including this as a separate proof is because if you were to ask me to prove Gibbs' inequality, I would have to start from the non-negativity of KL divergence and do the same proof from the top.

---

Proof 2: We use the Log sum inequality:

$$\sum_{i=1}^{n} a_i \log_2 \frac{a_i}{b_i} \geq \left(\sum_{i=1}^{n} a_i\right)\log_2\frac{\sum_{i=1}^{n} a_i}{\sum_{i=1}^{n} b_i}$$

Then we can show that $D_{KL}(p||q) \geq 0$:

$$\begin{align} D(p||q)&=\sum_x p(x)\log_2 \frac{p(x)}{q(x)}\\ &\stackrel{\text{(b)}}{\geq} \left(\sum_x p(x)\right)\log_2\frac{\sum_x p(x)}{\sum_x q(x)}\\ &=1 \cdot \log_2 \frac{1}{1}\\ &=0 \end{align}$$

where we have used the Log sum inequality at (b).

---

Proof 3:

(Taken from the book "Elements of Information Theory" by Thomas M. Cover and Joy A. Thomas)

$$\begin{align} -D(p||q)&=-\sum_x p(x)\log_2 \frac{p(x)}{q(x)}\\ &= \sum_x p(x)\log_2 \frac{q(x)}{p(x)}\\ &\stackrel{\text{(c)}}{\leq} \log_2 \sum_x p(x)\frac{q(x)}{p(x)}\\ &=\log_2 1\\ &=0 \end{align}$$

where at (c) we have used Jensen's inequality and the fact that $\log$ is a concave function.