Interpretation der Radon-Nikodym-Ableitung zwischen Wahrscheinlichkeitsmaßen?

Ich habe an einigen Stellen die Verwendung der Radon-Nikodym-Ableitung eines Wahrscheinlichkeitsmaßes in Bezug auf ein anderes gesehen, insbesondere in der Kullback-Leibler-Divergenz, wo es die Ableitung des Wahrscheinlichkeitsmaßes eines Modells für einen beliebigen Parameter mit ist bezüglich des realen Parameters : $\theta$ $\theta_0$

\frac{d P_{θ}}{d P_{θ_{0}}}

$\frac {dP_\theta}{dP_{\theta_0}}$

Wobei dies beide Wahrscheinlichkeitsmaße für den Raum von Datenpunkten sind, die von einem Parameterwert abhängig sind: . $P_\theta(D)=P(D|\theta)$

Was ist die Interpretation eines solchen Radon-Nikodym-Derivats in der Kullback-Leibler-Divergenz oder allgemeiner zwischen zwei Wahrscheinlichkeitsmaßen?

— user56834
quelle

Erstens brauchen wir keine Wahrscheinlichkeitsmaße, nur Endlichkeit. So lassen sein ein Messraum und lassen und sein -finite Maßnahmen auf . $\sigma$ $\mathcal M = (\Omega, \mathscr F)$ $\mu$ $\nu$ $\sigma$ $\mathcal M$

Das Radon-Nikodym-Theorem besagt, dass wenn für alle , bezeichnet mit , dann existiert eine nicht negative Borel-Funktion so dass $\mu(A) = 0 \implies \nu(A) = 0$ $A \in \mathscr F$ $\mu \gg \nu$ $f$ für alle

ν (EIN) = \int_{EIN} f d μ

$\nu(A) = \int_A f \,\text d\mu$

A \in F

$A \in \mathscr F$ .

So denke ich gerne darüber nach. Definieren wir zunächst für zwei beliebige Maße für , um zu bedeuten $\mathcal M$ $\mu \sim \nu$ . Dies ist eine gültige Äquivalenzbeziehung und wir sagen, dass und in diesem Falläquivalentsind. Warum ist dies eine sinnvolle Äquivalenz für Maßnahmen? Kennzahlen sind nur Funktionen, aber ihre Domänen sind schwierig zu visualisieren. Was ist, wenn zwei gewöhnliche Funktionen diese Eigenschaft haben, dh $\mu(A) = 0 \iff \nu(A) = 0$ $\mu$ $\nu$ $f, g :\mathbb R \to \mathbb R$ & le; Nun, definiere und beachtendass überall auf der Unterstützung von haben wir , und außerhalb des Trägers von (da $f(x) = 0 \iff g(x) = 0$

h (x) = {\begin{cases} f (x) / g (x) & g (x) \neq 0 \\ π^{e} & o.w. \end{cases}

$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$

g

$g$

g h = f

$gh = f$

g

$g$

g h = 0 \cdot π^{e} = 0 = f

$gh = 0 \cdot \pi^e = 0 = f$

f

$f$ und

Aktie Träger) so

g

$g$

h

$h$ lässt uns

skalieren . Wie @whuber weist darauf hin, ist der Schlüssel Idee hier nicht

ist irgendwie „sicher“ zu tun oder zu ignorieren, sondern dann , wenn

, dann spielt es keine Rolle , welche

ist so können wir es nur willkürlich definieren (wie sein

, die hier keine besondere Bedeutung hat) und die Dinge noch viel Arbeit. Auch in diesem Fall können wir die analoge Funktion

mit

so definieren, dass

g

$g$

f

$f$

0 / 0

$0/0$

g = 0

$g = 0$

h

$h$

π^{e}

$\pi^e$

h^{'}

$h'$

g / f

$g / f$

f h^{'} = g

$fh' = g$

Als nächstes sei angenommen, dass , aber die andere Richtung gilt nicht unbedingt. Dies bedeutet, dass unsere vorherige Definition von immer noch funktioniert, aber jetzt funktioniert nicht mehr, da es tatsächliche Divisionen durch . Somit können wir über in skalieren, aber wir können nicht in die andere Richtung gehen, weil wir etwas skalieren müssten $g(x) = 0 \implies f(x) = 0$ $h$ $h'$ $0$ $g$ $f$ $gh = f$ $0$ in etwas ungleich Null .

Kehren wir nun zu und und bezeichnen unsere RND mit . Wenn , bedeutet dies intuitiv, dass eines in das andere skaliert werden kann und umgekehrt. Aber im Allgemeinen wollen wir damit nur eine Richtung einschlagen (dh ein schönes Maß wie das Lebesgue-Maß in ein abstrakteres Maß umskalieren), also brauchen wir nur $\mu$ $\nu$ $f$ $\mu \sim \nu$ $\mu \gg \nu$ benötigen, um nützliche Dinge zu tun. Diese Neuskalierung ist das Herzstück des RND.

Zurückkommend auf @ whuber des Punkt in den Kommentaren, gibt es eine extra Subtilität , warum es sicher ist , die Frage zu ignorieren . Das liegt daran, dass wir mit Kennzahlen immer nur Dinge bis zu Mengen von Kennzahl jeder Menge mit wir unseren RND einfach dazu bringen, einen beliebigen Wert anzunehmen, z . B. . So ist es nicht , dass eigensicher ist , sondern überall dort, wo wir hätten ist ein Satz von Maßnahme WRT $0/0$ $0$ $A$ $\mu(A) = 0$ $1$ $0/0$ $0/0$ $0$ $\mu$ So können wir unseren RND einfach so definieren, dass er dort etwas Schönes ist, ohne etwas zu beeinflussen.

Nehmen wir als Beispiel an, dass für einige . Dann ist $k \cdot \mu = \nu$ $k > 0$ also haben wir

ν (A) = \int_{A} d ν = \int_{A} k d μ

$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$

f (x) = k = \frac{d ν}{d μ}

$f(x) = k = \frac{\text d\nu}{\text d\mu}$ ist der RND (dies kann durch den Satz der Maßänderung formeller begründet werden). Dies ist gut, da wir den Skalierungsfaktor genau wiederhergestellt haben.

$0$ $f(x) = \varphi(x) + 1_{\mathbb Q}(x)$ $1$ $X$

P (X \in A) = \int_{A} (φ + 1_{Q}) d λ

$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$

= \int_{A} φ d λ + λ (Q) = \int_{A} φ d λ

$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$

X

$X$

X

$X$

Q

$\mathbb Q$

0

$0$

λ

$\lambda$

$X \sim \text{Pois}(\eta)$ $Y \sim \text{Bin}(n, p)$ $P_X$ $P_Y$ $c$ $c$ $c(A) = 0 \iff A = \emptyset$

\frac{d P_{Y}}{d P_{X}} = \frac{d P_{Y} / d c}{d P_{X} / d c} = \frac{f_{Y}}{f_{X}}

$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$

so we can compute

P_{Y} (A) = \int_{A} d P_{Y}

$P_Y(A) = \int_A \,\text dP_Y$

= \int_{A} \frac{d P_{Y}}{d P_{X}} d P_{X} = \int_{A} \frac{d P_{Y}}{d P_{X}} \frac{d P_{X}}{d c} d c

$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$

= \sum_{y \in A} \frac{d P_{Y}}{d P_{X}} (y) \frac{d P_{X}}{d c} (y) = \sum_{y \in A} \frac{f_{Y} (y)}{f_{X} (y)} f_{X} (y) = \sum_{y \in A} f_{Y} (y) .

$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$

Thus because $P(X = n) > 0$ for all $n$ in the support of $Y$ , we can rescale integration with respect to a Poisson distribution into integration with respect to a binomial distribution, although because everything's discrete it turns out to look like a trivial result.

I addressed your more general question but didn't touch on KL divergences. For me, at least, I find KL divergence much easier to interpret in terms of hypothesis testing like @kjetil b halvorsen's answer here. If $P \ll Q$ and there exists a measure $\mu$ that dominates both then using $\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$ we can recover the form with densities, so for me I find that easier.

— jld
quelle

I enjoyed this exposition (as I enjoy all of your contributions), but at bottom it seems predicated on the (repeated) assertion that

0 / 0

$0/0$ makes some kind of sense--but it does not. There's something going on with measures that doesn't automatically happen with functions of real values: you may simply ignore what happens on sets of measure zero. That's how you avoid having to make sense of

0 / 0

$0/0$ in the Radon-Nikodym derivative setting.

— whuber

@whuber thanks a lot for the comment, that really helps. I've tried to update to address that

— jld