Als «shannon-entropy» getaggte Fragen

4
Ist Eta-Äquivalenz für Funktionen mit Haskells seq-Operation kompatibel?
Lemma: Unter der Annahme einer Eta-Äquivalenz haben wir das (\x -> ⊥) = ⊥ :: A -> B. Beweis: ⊥ = (\x -> ⊥ x)durch Eta-Äquivalenz und (\x -> ⊥ x) = (\x -> ⊥)durch Reduktion unter dem Lambda. Der Haskell 2010-Bericht, Abschnitt 6.2, spezifiziert die seqFunktion durch zwei Gleichungen: …
3
Auf der Entropie einer Summe
Ich bin für eine Schranke für die Entropie H(X+Y)H(X+Y)H(X+Y) aus der Summe zweier unabhängiger diskreten Zufallsvariablen XXX und YYY . Natürlich ist H(X+Y)≤H(X)+H(Y) (∗)H(X+Y)≤H(X)+H(Y) (∗)H(X+Y) \leq H(X) + H(Y) ~~~~~~(*) . Bezogen auf die Summe von nnn unabhängigen Bernoulli-Zufallsvariablen Z1,…,ZnZ1,…,ZnZ_1, \ldots, Z_n ergibt sich jedoch H(Z1+Z2+⋯+Zn)≤nH(Z1)H(Z1+Z2+⋯+Zn)≤nH(Z1) H(Z_1 + Z_2 + …
2
Kanalcodierungsergebnisse unter Verwendung der Kolmogorov-Komplexität
Normalerweise wird die Shannon-Entropie verwendet, um die Ergebnisse der Kanalcodierung zu beweisen. Auch für die Trennung von Quellkanälen wird die Shannon-Entropie verwendet. Hat es eine Studie gegeben, um die Komplexität von Kolmogorov für diese Ergebnisse zu nutzen (oder zumindest den Quellcodierungsteil in den Quellkanaltrennungsergebnissen zu ersetzen), da Shannon (global) und …
1
Wer hat den Begriff „empirische Entropie“ geprägt?
Ich kenne Shannons Arbeit mit Entropie, aber in letzter Zeit habe ich an prägnanten Datenstrukturen gearbeitet, in denen empirische Entropie häufig als Teil der Speicheranalyse verwendet wird. Shannon definierte die Entropie der von einer diskreten Informationsquelle erzeugten Information als , wobei p i die Wahrscheinlichkeit des Auftretens des Ereignisses i …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.