Interpretation der Entropie zur kontinuierlichen Verteilung?

"Entropie" erfasst grob den Grad der "Information" in einer Wahrscheinlichkeitsverteilung.

Für diskrete Verteilungen gibt es eine weitaus genauere Interpretation: Die Entropie einer diskreten Zufallsvariablen ist eine Untergrenze für die erwartete Anzahl von Bits, die zur Übertragung des Ergebnisses der Zufallsvariablen erforderlich sind.

Aber für eine kontinuierliche Zufallsvariable gibt es unzählige unendliche Ergebnisse, so dass wir nicht einmal anfangen können zu übertragen, welches genaue Ergebnis in einer endlichen Folge von Bits aufgetreten ist.

Was ist eine äquivalente Interpretation der Entropie für kontinuierliche Variablen?

entropy information-theory

— user56834
quelle

Haben Sie eine Definition des "Informationsgrades" in einer Wahrscheinlichkeitsverteilung?

— kjetil b halvorsen

@kjetilbhalverson, ich sehe nicht, wohin du damit gehst? Ist die Frage nicht ziemlich klar?

— user56834

Ich denke, hier und hier werden gute Antworten gegeben .

— COOLSerdash

@ COOLSerdash perfekt. Könnten Sie eine Antwort geben, die auf diese beiden verweist, und ich gebe Ihnen die Punkte.

— user56834

@ Programmer2134 Ich weiß das wirklich zu schätzen, aber ich fühle mich nicht wohl, wenn ich nur Links ohne viel Kontext poste (was hier nicht empfohlen wird) und Punkte dafür bekomme. Es tut mir Leid.

— COOLSerdash

Antworten:

Aufgrund der Grenzdichte diskreter Punkte kann die Interpretation von nicht auf verallgemeinert werden.

S = - \sum_{x} p (x) \ln p (x)

$S = -\sum_x p(x)\ln p(x)$

S = - \int d x (p (x) \ln p (x))

$S= -\int dx (p(x)\ln p(x))$

Weil die direkte Verallgemeinerung zu explodiert eindeutig .

S = - \int d x p (x) \ln (p (x) d x) = - \int d x p (x) \ln (p (x)) - \int d x p (x) \ln (d x)

$S= -\int dx p(x)\ln (p(x)dx) = -\int dx p(x)\ln (p(x)) -\int dx p(x)\ln (dx)$

\ln d x

$\ln dx$

Da , gilt intuitiv nicht die Überlegung , weniger Bits für die Codierung von etwas zu verwenden, das wahrscheinlicher ist . Wir müssen also einen anderen Weg finden, um zu interpretieren , und die Wahl ist Divergenz. $p(x)dx = 0$ $S= -\int dx p(x)\ln (p(x)dx)$ $KL$

Nehmen wir an, wir haben eine gleichmäßige Verteilung im gleichen Zustandsraum, dann haben wir Da nur eine Konstante ist, behalten wir effektiv die Form von und konstruieren Sie gleichzeitig eine genau definierte Größe für die kontinuierliche Verteilung . $q(x)$

K L (p (x) ‖ q (x)) = \int d x p (x) \ln (\frac{p (x) d x}{q (x) d x})

$KL(p(x)\Vert q(x)) = \int dx p(x) \ln (\frac{p(x)dx}{q(x)dx})$

q (x)

$q(x)$

S = - \int d x (p (x) \ln (p (x) d x))

$S= -\int dx (p(x)\ln (p(x)dx))$

p (x)

$p(x)$

Aus der Divergenz kann die Entropie einer kontinuierlichen Verteilung wie folgt interpretiert werden: $KL$ $p(x)$

Wenn wir eine gleichmäßige Verteilung für die Codierung von , wie viele Bits sind dann durchschnittlich nicht erforderlich? $p(x)$

— meTchaikovsky
quelle

Ihr letzter Satz befasst sich mit dem Thema der Frage, beantwortet sie jedoch nicht wirklich: Wie wird diese „intrinsische Eigenschaft“ interpretiert, wenn es sich nicht um die Anzahl der Bits handelt?

— user56834

Die Entropie ist die Erwartung von . Es ist eine Frage der mathematischen Ausbildung, dass die Leute es normalerweise vorziehen, die Definition so zu schreiben, wie Sie es tun, zuerst zu schreiben und dann das Minuszeichen außerhalb des Integrals zu nehmen, aber Ihre Antwort benötigt diese Korrektur. .

\ln (1 / P)

$\ln (1/P)$

- \ln P

$-\ln P$

— Nick Cox

@ Nick Cox Danke, dass du darauf hingewiesen hast, das habe ich bearbeitet.

— meTchaikovsky

@ Programmer2134 Ich habe meine Antwort bearbeitet und hoffe, dass sie die Frage besser beantwortet.

— meTchaikovsky

@ Programmer2134 Dank Ihrer Frage habe ich festgestellt, dass ich die Interpretation von völlig falsch verstanden habe . Ich habe meine Antwort korrigiert.

- \int p (x) \ln p (x)

$-\int p(x) \ln p(x)$

— meTchaikovsky

Sie diskretisieren das Problem über eine Wahrscheinlichkeitsdichte. Eine kontinuierliche Zufallsvariable hat eine Dichte , die sich lokal dem wahrscheinlich , was nun ein Analogon des diskreten Falls ist . Und nach der Theorie der Analysis werden Ihre Summen äquivalent zu Integralen über Ihrem Zustandsraum. $f(x)$ $P(X\in [x,x+\delta x]) \approx f(x)\delta x$

— Alex R.
quelle

Mir fehlt vielleicht etwas, aber meine Frage betraf eine Interpretation. Ich weiß, dass ein Integral eine Summengrenze ist.

— user56834

Dies ist eine sehr optimistische Antwort! Ich glaube, es ist viel komplizierter

— kjetil b halvorsen

@kjetilbhalvorsen: Ja, hier werden viele Details unter den Tisch geschoben. Informationen zu

— Alex R.

Könnten Sie diese Antwort näher erläutern? Es scheint nahezulegen, dass Sie die kontinuierliche Entropie approximieren können, indem Sie die Verteilung mit kleinen Behältern diskretisieren. Aber Ihr Link zeigt, dass dies nicht funktioniert, und sagt sogar "die Formel für kontinuierliche Entropie ist keine Ableitung von irgendetwas"

— Jonny Lomond