KL Divergenz und Erwartungen

Ich versuche die Erklärung der KL-Divergenz unten zu verstehen. Es bezieht sich, wie ich es verstehe, auf eine Erwartung im zweiten Semester. "Annäherung der Erwartung über q in diesem Term". Wir multiplizieren jedoch q (x) mit dem Protokoll von p (x) (und nicht mit p (x). Ist es immer noch richtig, dieses Konstrukt als erwarteten Wert zu bezeichnen? Bitte lassen Sie es mich wissen.

expected-value kullback-leibler

— user1885116
quelle

Ja, es ist der erwartete Wert von unter der Verteilung

l o g (p (x))

$log(p(x))$

q

$q$

— seanv507

@ seanv507 zur Verdeutlichung für zukünftige Betrachter: KL-Divergenz ist der erwartete Wert der Differenz zwischen Informationen in Massenfunktionen p (x) und q (x) unter der Verteilung q, dh E_q [(log (q (x)) - log (p (x))] = E_q [I_q (x) - I_p (x)]

— cvanelteren

Der erwartete Wert ist eine Größe, die für jede Funktion der Ergebnisse berechnet werden kann .

Sei der Raum aller möglichen Ergebnisse und sei eine auf definierte Wahrscheinlichkeitsverteilung . Für jede Funktion wobei eine beliebige Menge ist, die unter Addition und Skalarmultiplikation geschlossen wird (z. B. ), können wir den erwarteten Wert von unter Verteilung wie folgt berechnen : $\Omega$ $q:\Omega \rightarrow \mathbb{R}$ $\Omega$ $f:\Omega \rightarrow S$ $S$ $S = \mathbb{R}$ $f$ $q$

E [f] = E_{x \sim q} [f (x)] = \sum_{x \in Ω} q (x) f (x)

$\mathbb{E}[f] = \mathbb{E}_{x \sim q}[f(x)] = \sum_{x \in \Omega} q(x) f(x)$

In der KL-Divergenz haben wir für ein festes . $f(x) = \ln{\frac{q(x)}{p(x)}}$ $p(x)$

— Sobi
quelle