Wer hat den Begriff „empirische Entropie“ geprägt?

Ich kenne Shannons Arbeit mit Entropie, aber in letzter Zeit habe ich an prägnanten Datenstrukturen gearbeitet, in denen empirische Entropie häufig als Teil der Speicheranalyse verwendet wird.

Shannon definierte die Entropie der von einer diskreten Informationsquelle erzeugten Information als , wobei die Wahrscheinlichkeit des Auftretens des Ereignisses ist, z. B. eines bestimmten erzeugten Zeichens, und es gibt mögliche Ereignisse. $-\sum_{i=1}^k p_i \log{p_i}$ $p_i$ $i$ $k$

Wie von MCH in den Kommentaren ausgeführt, ist die empirische Entropie die Entropie der empirischen Verteilung dieser Ereignisse und ist somit gegeben durch wobeidie Anzahl der beobachteten Ereignisseunddie Gesamtzahl der beobachteten Ereignisse ist. Dies wird alsempirische Entropie nullter Ordnung bezeichnet. Shannons Begriff derbedingten Entropiehat eine ähnlicheempirische Versionhöherer Ordnung. $-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ $n_{i}$ $i$ $n$

Shannon hat den Begriff empirische Entropie nicht verwendet, obwohl er sicherlich einen Teil der Anerkennung für dieses Konzept verdient. Wer hat diese Idee zuerst verwendet und wer hat zuerst den (sehr logischen) Namen empirische Entropie verwendet , um sie zu beschreiben?

reference-request shannon-entropy succinct

— gelöschter Benutzer 42
quelle

"Punktweise für jede Saite definiert" klingt nach Kolmogorovs Komplexität: Beziehen Sie sich darauf? Wenn nicht, können Sie auf einen Link verweisen, der ihn definiert, oder besser noch einen Defn in der Frage selbst angeben?

— Suresh Venkat

Es wird so genannt, weil empirische Entropie die Entropie der empirischen Verteilung einer Sequenz ist.

— Mahdi Cheraghchi

@SureshVenkat Ich habe versucht, die Frage zu erarbeiten.

— Benutzer 42

Schauen Sie sich auch Kosaraju S. Rao, Manzini G., "Komprimierung von Strings mit niedriger Entropie mit Lempel-Ziv-Algorithmen" (1998) an. Sie analysieren die Leistung der Lempel-Ziv-Algorithmen anhand der " sogenannten empirischen Entropie ".

— Marzio De Biasi

Es ist zu beachten, dass die "empirische Verteilung" tatsächlich die ML-Verteilung für einen gegebenen Satz von Frequenzzählungen ist. Ich frage mich also, ob dies auf Bayes zurückgeht. Sogar Laplace hatte über das Problem nachgedacht, eine Verteilung aus empirischen Zählungen zu definieren.

— Suresh Venkat

Ich interessiere mich für "empirische Entropie" wie Sie und das früheste Papier, das ich finde, war das von Kosaraju, wie der Benutzer "Marzio De Biasi" in seinem Kommentar sagte.

Aber meiner Meinung nach werden die wirklichen Definitionen der "empirischen Entropie" später durch Verallgemeinerung der früheren Konzepte vorgenommen:

"Große Alphabete und Inkompressibilität" von Travis Gagie (2008)
"Emprical Entropy" von Paul MB Vitányi (2011)

$k$

$H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

wobei ein Markov-Prozess ter Ordnung ist. Er zeigte auch, dass diese Definition der vorherigen entspricht. Der nächste Schritt von Vitányi war eine Verallgemeinerung auf beliebige Prozessklassen (nicht nur Markov-Prozesse): $Q$ $k$

$H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

Dabei ist die Klasse der zulässigen Prozesse und die Kolmogorov-Komplexität. Wenn wir als Klasse der Markov-Prozesse ter Ordnung wählen , wird eine Folge vonZufallsvariablen und das Ignorieren der Kolmogorov-Komplexität führt dann auch zur Definition von Gagie (multipliziert mit ). $\mathcal{X}$ $K(X)$
$\mathcal{X}$ $k$ $|w|$ $|w|$

— Danny
quelle