Shannon-Entropie zu Min-Entropie

In vielen Artikeln habe ich gelesen, dass es bekannt ist, dass die Shannon-Entropie einer Zufallsvariablen durch unabhängige Kopien der Variablen in Min-Entropie (bis zu einem kleinen statistischen Abstand) umgewandelt werden kann. Kann mir jemand erklären, was genau das bedeutet?

Dies ist eine Folge der asymptotischen Äquipartitionseigenschaft (AEP), die eine Form des Gesetzes der großen Zahlen ist. Der AEP gibt an, dass eine Zufallsvariable eine (binäre) Entropie aufweist$H$ und du nimmst $n$ Kopien davon, dann haben die meisten Datenpunkte ungefähr eine Wahrscheinlichkeit $2^{-nH}$. Dies gilt nur für die meisten Datenpunkte, die die Quelle der von Ihnen erwähnten kleinen statistischen Entfernung sind.

Betrachten Sie als Beispiel a $p$-voreingenommene Münze. Wenn du wirfst$n$ Münzen mit Voreingenommenheit $p$, dann werden Sie höchstwahrscheinlich grob bekommen $pn$ Köpfe, von denen jedes Ereignis ungefähr eine Wahrscheinlichkeit hat