Kullback-Leibler-Divergenz OHNE Informationstheorie

Nach langem Durchforsten von Cross Validated fühle ich mich immer noch nicht näher daran, die KL-Divergenz außerhalb des Bereichs der Informationstheorie zu verstehen. Es ist ziemlich seltsam, wenn jemand mit einem mathematischen Hintergrund die Erklärung der Informationstheorie viel leichter versteht.

Um mein Verständnis vor dem Hintergrund der Informationstheorie zu skizzieren: Wenn wir eine Zufallsvariable mit einer endlichen Anzahl von Ergebnissen haben, gibt es eine optimale Kodierung, die es uns ermöglicht, das Ergebnis mit durchschnittlich der kürzesten Nachricht an einen anderen zu kommunizieren (ich finde dies am einfachsten) Bild in Bit ausgedrückt). Die erwartete Länge der Nachricht, die zur Übermittlung des Ergebnisses benötigt wird, ist gegeben durch wenn die optimale Codierung verwendet wird. Wenn Sie eine suboptimale Codierung verwenden, gibt die KL-Divergenz im Durchschnitt an, wie lange unsere Nachricht dauern würde.

$$-\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha})$$

Diese Erklärung gefällt mir, weil sie sich ganz intuitiv mit der Asymmetrie der KL-Divergenz befasst. Wenn wir zwei verschiedene Systeme haben, dh zwei geladene Münzen, die unterschiedlich geladen sind, haben sie unterschiedliche optimale Kodierungen. Ich bin nicht instinktiv der Meinung, dass die Codierung des zweiten Systems für das erste "genauso schlecht" ist wie die Codierung des ersten Systems für das zweite. Ohne den Gedankenprozess durchzugehen, wie ich mich selbst überzeugt habe, bin ich jetzt ziemlich glücklich, dass gibt Ihnen diese "zusätzliche erwartete Nachrichtenlänge", wenn Sie die Kodierung von für .

$$\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})$$ $q$$p$

Die meisten Definitionen der KL-Divergenz, einschließlich Wikipedia, geben dann die Aussage ab (diskret, damit sie mit der informationstheoretischen Interpretation verglichen werden kann, die diskret weitaus besser funktioniert, da Bits diskret sind), dass wir zwei diskrete Wahrscheinlichkeiten haben Verteilungen, dann bietet KL einige Metrik "wie unterschiedlich sie sind". Ich habe noch keine einzige Erklärung dafür gefunden, wie diese beiden Konzepte überhaupt zusammenhängen. Ich scheine mich in seinem Buch über Inferenz zu erinnern, dass Dave Mackay darauf hinweist, dass Datenkomprimierung und Inferenz im Grunde genommen dasselbe sind, und ich vermute, dass meine Frage wirklich damit zusammenhängt.

Unabhängig davon, ob dies der Fall ist oder nicht, handelt es sich bei meiner Frage um Inferenzprobleme. (Dinge diskret halten), wenn wir zwei radioaktive Proben haben und wir wissen, dass eine von ihnen ein bestimmtes Material mit bekannter Radioaktivität ist (dies ist zweifelhafte Physik, aber tun wir so, als würde das Universum so funktionieren), und wir kennen daher die "wahre" Verteilung von radioaktiven Klicks sollten wir Poisson sein mit bekanntem messen sollten , ist es fair , eine empirische Verteilung für beiden Proben aufzubauen und ihre KL Divergenzen zu der bekannten Verteilung vergleichen und sagen , dass die untere wahrscheinlicher ist , dass das Material zu sein?$\lambda$

Wenn ich mich von der zweifelhaften Physik verabschiede und weiß, dass zwei Samples von derselben Verteilung stammen, aber nicht zufällig ausgewählt wurden, würde ein Vergleich ihrer KL-Abweichungen mit der bekannten globalen Verteilung ein Gefühl dafür vermitteln, wie "voreingenommen" die Samples sind , relativ zu dem einen oder anderen trotzdem?

Und schließlich, wenn die Antwort auf die vorherigen Fragen ja lautet, warum dann? Ist es möglich, diese Dinge allein aus statistischer Sicht zu verstehen, ohne irgendwelche (möglicherweise schwachen) Verbindungen zur Informationstheorie herzustellen?

Es gibt einen rein statistischen Ansatz für die Kullback-Leibler-Divergenz: Nehmen Sie eine Stichprobe iid aus einer unbekannten Verteilung p ⋆ und betrachten Sie die mögliche Anpassung einer Verteilungsfamilie, F = { p $X_1,\ldots,X_n$$p^\star$ Die entsprechende Wahrscheinlichkeit ist definiert als L ( θ | x 1 , ... , x n ) = n Π i = 1 p θ ( x i ) und dessen Logarithmus ℓ ( θ | x 1 , ... , x n ) = n ∑ i = 1 log p θ ( x i

$$\mathfrak{F}=\{p_\theta\,,\ \theta\in\Theta\}$$ $$L(\theta|x_1,\ldots,x_n)=\prod_{i=1}^n p_\theta(x_i)$$ $$\ell(\theta|x_1,\ldots,x_n)=\sum_{i=1}^n \log p_\theta(x_i)$$ Daher ist der interessante Teil der Kullback-Leibler-Divergenz zwischen p θ und p ⋆ H ( p θ | p ⋆ ) def = ∫ log { p ⋆ ( x ) / p θ ( x ) $$\frac{1}{n} \ell(\theta|x_1,\ldots,x_n) \longrightarrow \mathbb{E}[\log p_\theta(X)]=\int \log p_\theta(x)\,p^\star(x)\text{d}x$$ $p_\theta$$p^\star$ der andere Teil ∫ log { p ⋆ ( x ) $$\mathfrak{H}(p_\theta|p^\star)\stackrel{\text{def}}{=}\int \log \{p^\star(x)/p_\theta(x)\}\,p^\star(x)\text{d}x$$ ist da, um das Minimum [in θ ] von H ( p θ | p ⋆ ) gleich Null zu haben. $$\int \log \{p^\star(x)\}\,p^\star(x)\text{d}x$$ $\theta$$\mathfrak{H}(p_\theta|p^\star)$

Ein Buch, das Divergenz, Informationstheorie und statistische Inferenz verbindet, ist Rissanens Optimale Parameterschätzung , die ich hier besprochen habe .

Hier ist eine statistische Interpretation der Kullback-Leibler-Divergenz, die IJ Good lose entnommen wurde ( Beweiskraft: Eine kurze Übersicht , Bayesian Statistics 2, 1985).

Das Gewicht der Beweise.

$x_1, x_2, \dots, x_n$$f_0$$H_1$$H_2$$f_0$$H_1 = \{f_1\}$$H_2 = \{f_2\}$$f_0$$f_1$$f_2$

$x = (x_1, \dots, x_n)$$H_1$$H_2$

$$W(x) = \log \frac{f_1(x)}{f_2(x)} .$$ $P$$H_0$$H_1$$W$ $$\log \frac{P(H_0 | x)}{P(H_1 | x)} = W(x) + \log\frac{P(H_0)}{P(H_1)}.$$ $$W(x_1, \dots, x_n) = W(x_1) + \dots +W(x_n) .$$ $W(x)$$x$$H_1$$H_2$

$x$$W(x)$$W(x) > 2$

Die Kullback-Leibler-Divergenz

$f_1$$f_2$$x \sim f_1$

$$KL(f_1, f_2) = \mathbb{E}_{x \sim f_1} W(x) = \int f_1 \log\frac{f_1}{f_2}.$$

$x \sim f_1$$H_1 = \{f_1\}$$H_2$

$$\mathbb{E}_{x \sim f_1} W(x) \geq 0.$$

Ich habe noch keine einzige Erklärung dafür gefunden, wie diese beiden Konzepte überhaupt zusammenhängen.

Ich weiß nicht viel über Informationstheorie, aber so denke ich darüber: Wenn ich eine Person der Informationstheorie sagen höre, "Länge der Nachricht", sagt mein Gehirn "Überraschung". Die Überraschung ist 1.) zufällig und 2.) subjektiv.

$X$$q(X)$$- \log q(X)$

$q$$X$$p$$p$$E_p[-\log p(X)]$$q$$p$$E_p[-\log q(X)]$

Anstatt darüber nachzudenken, "wie unterschiedlich sie sind", denke ich an die "Zunahme der erwarteten Überraschung durch die Verwendung der falschen Verteilung". Dies ist alles aus Eigenschaften des Logarithmus.

$$E_p[\log \left( \frac{p(X)}{q(X)} \right)] = E_p[-\log q(X)] - E_p[- \log p(X)] \ge 0.$$

Bearbeiten

$−\log(q(x))$$q$

$X$$q$$x$$0$$-\log(0) = \infty$$1$$0$

$-\log$

$q(x) > 1$

$X \sim q_X(x)$$Y=aX+b \sim q_x((y-b)/a)|1/a|$$X$$-\log q_X(X) \neq -\log q_Y(Y)$

$(X-EX)^2$. We could interpret this as "extremeness." This quantity suffers from lack of invariance as well, but it doesn't render meaningless peoples' intuition about what variance is.

Edit 2: looks like I'm not the only one who thinks of this as "surprise." From here:

The residual information in data $y$ conditional on $\theta$ may be defined (up to a multiplicative constant) as $-2 \log\{ p(y \mid \theta)\}$ (Kullback and Leibler, 1951; Burnham and Anderson, 1998) and can be interpreted as a measure of 'surprise' (Good, 1956), logarithmic penalty (Bernardo, 1979) or uncertainty.