Differenzielle Entropie

Die Differentialentropie des Gaußschen RV beträgt $\log_2(\sigma \sqrt{2\pi e})$ . Dies ist abhängig von $\sigma$ , der Standardabweichung.

Wenn wir die Zufallsvariable so normalisieren, dass sie eine Einheitsvarianz aufweist, fällt ihre Differentialentropie ab. Für mich ist dies kontraintuitiv, da die Komplexität der Kolmogorov-Normalisierungskonstante im Vergleich zur Verringerung der Entropie sehr gering sein sollte. Man kann einfach einen Kodierer-Dekodierer entwerfen, der mit der Normalisierungskonstante dividiert / multipliziert, um jeden durch diese Zufallsvariable erzeugten Datensatz wiederzugewinnen.

Wahrscheinlich habe ich kein Verständnis dafür. Könnten Sie bitte auf meinen Fehler hinweisen?

information-theory entropy randomness

— Cagdas Ozgenc
quelle

Ich werde es versuchen, obwohl es etwas über meinem Kopf liegt, also gib mir ein wenig Salz ...

Du liegst nicht genau falsch. Ich denke, dass Ihr Gedankenexperiment darin besteht, dass die differentielle Entropie nicht der begrenzende Fall der Entropie ist. Ich vermute, dass dadurch die Parallelen zwischen ihm und der Komplexität von Kolmogorov verloren gehen.

Lassen Sie uns sagen , dass wir eine diskrete Zufallsvariable haben . Wir können seine Shannon-Entropie wie folgt berechnen, indem wir alle möglichen Werte , $X$ $x_i$

H (X) = - \sum_{ich} P (X = x_{ich}) Log (P (X = x_{ich})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

So weit so langweilig. Nehmen wir nun an, dass eine quantisierte Version einer kontinuierlichen Zufallsvariablen ist - wir haben beispielsweise die Dichtefunktion , die Samples aus der Menge reeller Zahlen generiert, und wir machen daraus ein Histogramm. Wir werden ein ausreichend feines Histogramm haben, dass die Dichtefunktion im Wesentlichen linear ist. In diesem Fall haben wir so etwas wie eine Entropie: $X$ $p()$ wobeidie Breite unserer Histogrammkästen und ist

H (X) \approx - \sum_{ich} p (X = x_{ich}) δ x Log (p (X = x_{ich}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

der Mittelpunkt von jedem ist. Wir haben ein Produkt in diesem Logarithmus - lassen Sie uns das heraustrennen und die Eigenschaft von Wahrscheinlichkeitsverteilungen, die auf 1 summieren, verwenden, um es außerhalb der Summierung zu verschieben, was uns

x_{i}

$x_i$

H (X) \approx - Log (δ x) - \sum_{ich} p (X = x_{ich}) δ x Log (p (X = x_{ich})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

$\delta x \rightarrow dx$

H (X) = - Log (d x) - \int_{x} p (X = x) Log (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

$\log \big( dx \big)$

$\sigma$

$\delta$

\int_{x} p (X = x) Log (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— Klopfen
quelle

Vielen Dank. Das ist sehr interessant. Ich wusste nicht, dass die Theorie so ein Gimmick enthält.

— Cagdas Ozgenc

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

\log (d x)

$\log(d x)$

@Cagdas - Ich weiß nicht, ob ich es ein Gimmick nennen würde. Es misst nur eine andere Sache. Und wie Kardinal betont, hat es einige Verwendungen. Ob es beim Anwenden auf die Binominalverteilung kaputt geht, hängt davon ab, wie Sie es anwenden werden :). Wahrscheinlich lohnt es sich, ein neues Thema zu beginnen, wenn Sie sich nicht sicher sind.

— Pat

Ich dachte, Entropie unterscheidet sich offensichtlich von Kolmogorovs Komplexität, wenn man Pseudozufallszahlengeneratoren betrachtet.

— James Bowery