Die Entropie einer verrauschten Verteilung

Angenommen, wir haben eine Funktion so dass und ist eine Verteilung, dh . ∀ x ∈ Z n $f:\mathbb{Z}_2^n \to \mathbb{R}$f≤x≤Z n 2 f(x)=

$$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$$ $f$$\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$

Die Shannon-Entropie von ist wie folgt definiert: H ( f ) = - ∑ x ∈ Z n 2 f ( x ) log ( f ( x ) )$f$

$$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$$

Sei eine Konstante. Angenommen, wir erhalten eine noisy-Version von , dh wir erhalten eine Funktion so dass für jedes . Wie wirkt sich das Rauschen auf die Entropie aus? Das heißt, können wir durch eine "vernünftige" Funktion von und binden , wie zum Beispiel: oder sogar für einige Konstanten .ϵ f ( x ) ˜ f : Z n 2 → R | ˜ f ( x ) - f ( x ) | < ϵ x ∈ Z n 2 H ( ˜ f ) ϵ H ( f ) ( 1 - ϵ ) H ( f ) < H ( ˜ f ) < ( $\epsilon$$\epsilon$$f(x)$$\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$$|\tilde{f}(x)- f(x) | < \epsilon$$x\in \mathbb{Z}_2^n$$H(\tilde{f})$$\epsilon$$H(f)$

$$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$$ $$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$$ $c,d$

Bearbeiten: Um ein Gefühl für die Auswirkung von Rauschen auf Shannons Entropie zu bekommen, wäre auch jedes "vernünftige" Additiv, das an gebunden ist , sehr interessant.$H(\tilde{f})$

Eine solche Bindung ist nicht möglich. Betrachten wir den Fall , wo die Verteilung ist , die gleichförmig über einen Teil Satz der Größe , und lassen die Verteilung sein , dass mit einer Wahrscheinlichkeit gibt ein gleichmäßig verteiltes Element von , und gibt ansonsten eine gleichmäßig verteilte Zeichenfolge aus.$f$$S$$2^{\delta \cdot n}$$\tilde{f}$$\delta$$S$

Es ist nicht schwer zu erkennen, dass Sie von nach Sie benötigen nur Rauschen von höchstens . Jedoch , während . Somit erhalten Sie eine Differenz von für ein beliebig kleines für ein extrem geringes Rauschen.˜ $f$$\tilde{f}$ H ( f ) = δ ⋅ n H ( ˜ f ) ≈ ( 1 - δ + δ 2 ) ⋅ n ( 1 - δ ) 2 ⋅ n $(1-\delta) \cdot 2^{-\delta \cdot n}$$H(f)= \delta \cdot n$$H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$$(1 - \delta)^2 \cdot n$$\delta$

Insbesondere können Sie und Rausch und Entropiedifferenz . ε≈n-2log(1/ε$\delta = \frac{\log(1/\varepsilon)}{n}$$\varepsilon$$\approx n - 2\log(1/\varepsilon)$