Ist es möglich, eine KL-Divergenz zwischen diskreter und kontinuierlicher Verteilung anzuwenden?

12

Ich bin kein Mathematiker. Ich habe im Internet nach KL Divergence gesucht. Was ich gelernt habe, ist, dass die KL-Divergenz den Informationsverlust misst, wenn wir die Verteilung eines Modells in Bezug auf die Eingabeverteilung approximieren. Ich habe diese zwischen zwei kontinuierlichen oder diskreten Verteilungen gesehen. Können wir es zwischen kontinuierlich und diskret machen oder umgekehrt?

distributions mathematical-statistics kullback-leibler

— Prakash
quelle

Siehe auch

— Kardinal

3

Nein: KL-Divergenz wird nur für Verteilungen über einen gemeinsamen Raum definiert. Es fragt nach der Wahrscheinlichkeitsdichte eines Punktes unter zwei verschiedenen Verteilungen, und . Wenn eine Verteilung auf und eine Verteilung auf , ist für die Punkte und nicht sinnvoll macht für die Punkte keinen Sinn . Tatsächlich können wir dies nicht einmal für zwei kontinuierliche Verteilungen über unterschiedlich dimensionale Räume tun (oder diskret oder in jedem Fall, in dem die zugrunde liegenden Wahrscheinlichkeitsräume nicht übereinstimmen). $x$ $p(x)$ $q(x)$ $p$ $\mathbb{R}^3$ $q$ $\mathbb{Z}$ $q(x)$ $p \in \mathbb{R}^3$ $p(z)$ $z \in \mathbb{Z}$

Wenn Sie einen bestimmten Fall im Auge haben, kann es möglich sein, ein ähnlich temperamentvolles Maß für die Unähnlichkeit zwischen Verteilungen zu finden. Zum Beispiel könnte es sinnvoll sein, eine kontinuierliche Verteilung unter einem Code für einen diskreten zu codieren (offensichtlich mit verlorenen Informationen), z. B. durch Runden auf den nächsten Punkt im diskreten Fall.

— Dougal
quelle

Beachten Sie, dass die KL-Divergenz zwischen diskreten und absolut kontinuierlichen Verteilungen gut definiert ist.

— Olivier

@Olivier Die übliche Definition erfordert ein gemeinsames dominierendes Maß, nein?

— Dougal

1

Sie haben Recht, wenn P und Q in unterschiedlichen Räumen definiert sind. Auf einem gemeinsamen messbaren Raum existiert jedoch immer ein solches Maß (z. B. P + Q), und die KL-Divergenz hängt nicht von der jeweiligen Wahl des dominierenden Maßes ab.

— Olivier

8

Ja, die KL-Divergenz zwischen kontinuierlichen und diskreten Zufallsvariablen ist gut definiert. Wenn und Verteilungen auf einem Raum , dann haben sowohl als auch Dichten , in Bezug auf und $P$ $Q$ $\mathbb{X}$ $P$ $Q$ $f$ $g$ $\mu = P+Q$

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

Wenn zum Beispiel , Lebesgues Maß ist und eine Punktmasse bei , dann ist , und $\mathbb{X} = [0,1]$ $P$ $Q = \delta_0$ $0$ $f(x) = 1-\mathbb{1}_{x=0}$ $g(x) = \mathbb{1}_{x=0}$

D_{K L} (P, Q) = \infty .

$D_{KL}(P, Q) = \infty.$

— Olivier
quelle

Wie beweisen Sie, dass unabhängig von der dominierenden Maßnahme ist?

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$

— Gabriel Romon

Satz der Maßänderung.

— Olivier

1

Im Allgemeinen nicht. Die KL-Divergenz ist

D_{K L} (P | | Q) = \int_{X} \log (\frac{d P}{d Q}) d P

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

vorausgesetzt, ist in Bezug auf absolut stetig und sowohl als auch sind endlich (dh unter Bedingungen, bei denen gut definiert ist). $P$ $Q$ $P$ $Q$ $\sigma$ $\frac{dP}{dQ}$

Für eine "kontinuierliche zu diskrete" KL-Divergenz zwischen Messungen auf einem normalen Raum haben Sie den Fall, dass die Lebesgue-Messung in Bezug auf die Zählmessung absolut kontinuierlich ist, die Zählmessung jedoch nicht endlich ist. $\sigma$

— jtobin
quelle