Verteilungsentropie mit gleichmäßiger Unterverteilung

Lassen $X$ eine Zufallsvariable sein, die Werte in einer Menge annimmt $\mathcal{X}$ . Die Verteilung von $X$ ist nicht einheitlich, aber es gibt eine Teilmenge $A\in\mathcal{X}$ Das ist "einheitlich": alle Ereignisse in $A$ mit gleicher Wahrscheinlichkeit auftreten.

Können wir die Entropie von $X$ auf die Größe des Sets $A$ ? Intuitiv scheint es uns möglich zu sein, die Entropie von zu sagen $X$ ist mindestens $\log |A|$ , aber ich bin mir nicht sicher, wie ich es beweisen soll.

Zum Beispiel wenn $A = \mathcal{X}$ die Verteilung auf $X$ ist einheitlich und die Grenze gilt trivial.

entropy information-theory

— S. 1989
quelle

Wenden Sie einfach die Entropieformel an: Das Ergebnis fällt sofort aus. Die Idee ist das $A$ allein trägt zumindest bei

- | A | (\frac{1}{| A |}) \log (\frac{1}{| A |}) = \log | A |

$-|A| \left(\frac{1}{|A|}\right)\log\left(\frac{1}{|A|}\right)=\log|A|$ auf die Entropie und andere Begriffe in der Entropieformel kann es nur weiter erhöhen. Details folgen.

Lassen Sie uns zunächst die Sprache klarstellen: Teilmengen von $\mathcal{X}$ werden normalerweise nicht als "Ereignisse" betrachtet. $X$ ist eine Funktion aus einem Wahrscheinlichkeitsraum $(\Omega, \mathfrak{F}, \mathbb{P})$ in $\mathcal X$ . Die inversen Bilder

X^{- 1} (a) = {ω \in Ω ∣ X (ω) = a}

$X^{-1}(a) = \{\omega\in\Omega\mid X(\omega)=a\}$

werden als messbare Teilmengen von angenommen $\Omega$ und als solche sind (im herkömmlichen Sinne) Ereignisse .

Der Einfachheit halber lassen Sie $n=|A|$ sei seine Kardinalität und lass $p$ die gemeinsame Wahrscheinlichkeit aller fraglichen Ereignisse sein; das ist,

p = Pr (X^{- 1} (a))

$p = \Pr(X^{-1}(a))$

für jeden . $a\in A$

Zerlegen Sie in und sein Komplement . Das Axiom der Gesamtwahrscheinlichkeit und die Tatsache, dass die Wahrscheinlichkeit von nicht negativ ist, implizieren $\Omega$ $X^{-1}(A)$ $\bar A = \Omega\setminus X^{-1}(A)$ $\bar A$

\begin{aligned} 1 & = Pr (Ω) = Pr ({\bar{A}}_{X}) + Pr (X^{- 1} (A)) \\ = Pr ({\bar{A}}_{X}) + \sum_{a \in A} Pr (X^{- 1} (a)) \\ = Pr ({\bar{A}}_{X}) + n p \geq n p . \end{aligned}

$\eqalign{ 1 &= \Pr(\Omega) = \Pr(\bar A_X) + \Pr(X^{-1}(A))\\ &= \Pr(\bar A_X) + \sum_{a\in A} \Pr(X^{-1}(a)) \\ & = \Pr(\bar A_X) + np \ge np. }$

Wenn unendlich ist, zeigt dies, dass Null sein muss und undefiniert ist. Wir müssen daher annehmen, dass endlich ist. In diesem Fall zeigt die vorhergehende Berechnung $n$ $p$ $\log p$ $n$

p \leq \frac{1}{n} .

$p \le \frac{1}{n}.$

Bei der Berechnung der Entropie von gibt es Terme, die und nicht negative Werte zur Entropie beitragen. Es bleibt Begriffe von . Jedes dieser trägt (per Definition) zur Entropie bei. Da und eine monoton wachsende Funktion ( dh , ), die insgesamt hat eine untere Schranke $X$ $X^{-1}\left(\mathcal{X}\setminus A\right)$ $n$ $A$ $-p\log p$ $p \le 1/n$ $\log$ $\log(p) \le \log(1/n)$ $-np\log p$

- n p \log p \geq - n \frac{1}{n} \log (\frac{1}{n}) = \log n = \log | A |,

$-np\log p \ge -n\frac{1}{n}\log\left(\frac{1}{n}\right) = \log n =\log|A|,$

QED .

— whuber
quelle