Erraten eines niedrigen Entropiewertes bei mehreren Versuchen

Angenommen, Alice hat eine Verteilung über eine endliche (aber möglicherweise sehr große) Domäne, so dass die (Shannon-) Entropie von μ durch eine beliebig kleine Konstante ε begrenzt ist . Alice zieht einen Wert x aus μ und bittet dann Bob (der μ kennt ), x zu erraten .$\mu$$\mu$$\varepsilon$$x$$\mu$$\mu$$x$

Wie hoch ist die Erfolgswahrscheinlichkeit für Bob? Wenn ihm nur eine Vermutung erlaubt ist, kann man diese Wahrscheinlichkeit wie folgt senken: Die Entropie begrenzt die Min-Entropie nach oben, so dass es ein Element gibt, das eine Wahrscheinlichkeit von mindestens . Wenn Bob dieses Element als seine Vermutung wählt, beträgt seine Erfolgswahrscheinlichkeit 2 - ε .$2^{-\varepsilon}$$2^{-\varepsilon}$

Nehmen wir nun an, Bob darf mehrere Vermutungen anstellen, sagen wir Vermutungen, und Bob gewinnt, wenn eine seiner Vermutungen richtig ist. Gibt es ein Schätzschema, das Bobs Erfolgswahrscheinlichkeit verbessert? Insbesondere ist es möglich , dass Bob zeigen Versagen Wahrscheinlichkeit mit exponentiell abnimmt t ?$t$$t$

Bobs beste Wette ist es, die Werte mit der größten Wahrscheinlichkeit zu erraten .$t$

$t$

$\delta$$-x\log x$$\mu$$a,b,\ldots,b;b,\ldots,b,c$$a\geq b\geq c$$a+(t-1)b = 1-\delta$$c = \delta-\lfloor\frac{\delta}{b}\rfloor b$$t-1+\lfloor\frac{\delta}{b}\rfloor$$b$$s = \lfloor\frac{\delta}{b}\rfloor$$b$$s$

$X$$N$$N+H(X)$$1/2$

Dies ist einer der Gründe, warum Menschen Renyi-Entropien untersuchten.