Ist die Differentialentropie immer kleiner als unendlich?

Für einen beliebigen kontinuierlichen Zufallsvariable, sagt $X$ ist seine differentielle Entropie immer kleiner als $\infty$ ? (Es ist in Ordnung, wenn es $-\infty$ .) Wenn nicht, was ist die notwendige und ausreichende Bedingung, damit es weniger als $\infty$ ?

entropy information-theory maximum-entropy

— syeh_106
quelle

Haben Sie Beispiele ausprobiert? Gleichmäßige Verteilung in einem Intervall der Länge

L

$L$ & sub0;

— Piotr Migdal

Tatsächlich ist die Differentialentropie einer gleichmäßigen Verteilung (in einem beliebigen endlichen Intervall) immer endlich, dh log (L), und damit begrenzt. Tatsächlich konnte ich 2 Klassen kontinuierlicher Verteilungen identifizieren, deren Entropie immer begrenzt ist - (1) jede Verteilung, deren Unterstützung in einem endlichen Intervall enthalten ist, und (2) jede Verteilung, deren 2. Moment endlich ist. Ersteres ist durch die Gleichverteilung begrenzt; während letztere durch die Gaußsche Verteilung begrenzt ist.

— syeh_106

Tatsächlich kann ich auch eine Verteilung mit unendlichem 2. Moment konstruieren und habe immer noch endliche Entropie. Betrachte zum Beispiel f (x) = 3 / (x ^ 2), x> 3. Es ist klar, dass E [X ^ 2] unendlich ist, aber h (X) ~ = -3,1 nats. Ich konnte jedoch nicht bestätigen, ob dies für beliebige kontinuierliche Zufallsvariablen zutrifft, oder ich habe ein Gegenbeispiel gefunden, um dies zu widerlegen. Ich würde es wirklich schätzen, wenn jemand dies zeigen kann.

— syeh_106

Vielen Dank für Ihre Kommentare und die Links, Piotr. Im Übrigen habe ich auch das eine meiner Kursmaterialien überprüft und genau das gleiche Beispiel für eine diskrete Zufallsvariable mit zählbar unendlicher Unterstützung gefunden. Aus diesem Grund ist es nicht schwierig, ein kontinuierliches Analog zu konstruieren. Die Antwort auf die erste Frage ist also offensichtlich. Ich werde es unten für andere Leute zusammenfassen, die möglicherweise die gleiche Frage haben. Übrigens muss ich in meinem zweiten Kommentar oben eine Korrektur vornehmen, insbesondere für f (x) = 3 / (x ^ 2) sollte h (X) positiv sein, dh 3,1 nats.

— syeh_106

Diese Frage und die Antwort sind nicht eindeutig, da sie nicht angeben, auf welche Mengen die Grenzen angewendet werden sollen. Wenn

ein RV ist, hat es eine Entropieperiode. Wenn es sich um ein "willkürliches" kontinuierliches Wohnmobil handelt, ist (offensichtlich) keine obere Grenze möglich. Welche Einschränkungen möchten Sie

auferlegen ? Aus den Kommentaren und Ihrer Antwort geht hervor, dass Sie möglicherweise die Unterstützung von

beheben möchten - oder vielleicht nicht? Vielleicht möchten Sie

auf diese Variablen mit bestimmten Grenzen in bestimmten Momenten beschränken? Vielleicht möchten Sie, dass

zu einer parametrischen Familie gehört - oder vielleicht auch nicht? Bitte bearbeiten Sie diese Frage zur Klärung.

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

— whuber

Ich dachte noch einmal über diese Frage nach und fand auch dank der obigen Bemerkungen von Piotr ein Gegenbeispiel. Die Antwort auf die erste Frage lautet nein - die Differentialentropie einer kontinuierlichen Zufallsvariablen (RV) ist nicht immer kleiner als . Stellen Sie sich zum Beispiel ein kontinuierliches RV X vor, dessen PDF $\infty$ für

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

Es ist nicht schwer zu verifizieren, dass die Differenzentropie unendlich ist. Es wächst jedoch ziemlich langsam (ungefähr logarithmisch).

Für die 2. Frage bin ich keine einfache notwendige und hinreichende Bedingung bekannt. Eine Teilantwort lautet jedoch wie folgt. Kategorisieren Sie ein kontinuierliches Wohnmobil anhand seiner Unterstützung in einen der folgenden drei Typen:

Typ 1: ein kontinuierliches Wohnmobil, dessen Unterstützung begrenzt ist, dh in [a, b] enthalten ist.
Typ 2: ein kontinuierliches Wohnmobil, dessen Träger halbgebunden ist, dh in [a, ) oder ( , a] enthalten ist. Typ 3: ein kontinuierliches Wohnmobil, dessen Träger unbegrenzt ist. $\infty$ $-\infty$

Dann haben wir folgendes:

Für ein Wohnmobil vom Typ 1 ist seine Entropie immer bedingungslos kleiner als . Bei einem Typ 2 RV ist seine Entropie kleiner als , wenn sein Mittelwert ( ) endlich ist. Für ein Typ 3 RV ist seine Entropie kleiner als , wenn seine Varianz ( ) endlich ist. $\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

Die differentielle Entropie eines Typ - 1 - RV ist kleiner als die der entsprechende gleichmäßigen Verteilung, dh , ein Typ - 2 - RV, dass die Exponentialverteilung, dh und ein Typ 3 RV, das der Gaußschen Verteilung, dh $log(b-a)$ $1+log(|\mu-a|)$ $\frac{1}{2} log(2{\pi}e\sigma^2)$ .

Beachten Sie, dass für ein Wohnmobil vom Typ 2 oder 3 die obige Bedingung nur eine ausreichende Bedingung ist . Stellen Sie sich zum Beispiel ein Wohnmobil vom Typ 2 mit für. Es ist klar, dass sein Mittelwert unendlich ist, aber seine Entropie beträgt 3,1 Nats. Oder betrachten Sie ein Wohnmobil vom Typ 3 mit

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

für

. Seine Varianz ist unendlich, aber seine Entropie beträgt 2,6 Nats. Es wäre also großartig, wenn jemand eine vollständige oder elegantere Antwort auf diesen Teil geben könnte.

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
quelle

Groß! Zu SE sollten Kommentare, die nicht als dauerhaft gelten (falls relevant), in die Antwort aufgenommen werden. Das Gleiche gilt für Links zu Materialien (entweder um etwas zu beweisen / zu zeigen oder um darauf zu verweisen, anstatt nur zu sagen). BTW: für Momente, wie ich sehe jeden endlichen Moment

(für jede

) führt zu begrenzten Entropie (ich nur realisiert, nachdem die Suche Anzeige den Beweises für Varianz).

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

— Piotr Migdal

Vielen Dank, Piotr, für die Hinweise zur SE-Politik. (Ja, ich bin offensichtlich neu hier.) Über endliche Momente, die zu einer begrenzten Entropie führen, würden Sie Ihren Beweis teilen? Vielen Dank!

— syeh_106

@PiotrMigdal Ich habe vor, die Antwort auf diese Frage in ihrem aktuellen Zustand zu belassen, nachdem ich einen letzten Schliff hinzugefügt habe. Motiviert durch Piotrs obigen Kommentar überlegte ich, ob ein endlicher Mittelwert zu einer endlichen Entropie führt. Ich konnte das nicht allgemein abschließen. Was ich herausgefunden habe, ist, dass es wahr ist, wenn die Unterstützung des Wohnmobils zur Hälfte begrenzt ist. Bitte beachten Sie die überarbeitete Antwort oben. Ich freue mich auf eine bessere Antwort eines Tages.

— syeh_106,

"Es ist nicht schwer zu verifizieren, dass seine Differentialentropie unendlich ist." Können Sie zeigen, wie dies überprüft werden kann? Es scheint für Riemanns Integral zu gelten, aber die differentielle Entropie bezieht sich auf das Lebesgue-Maß. Ich habe Probleme zu überprüfen, ob das entsprechende Lebesgue-Integral nicht konvergiert.

— Cantorhead

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$