Eine Umkehrung zu Fanos Ungleichheit?

10

Die Ungleichung von Fano kann in vielen Formen angegeben werden, und eine besonders nützliche ist (mit einer geringfügigen Änderung) Oded Regev zu verdanken :

Sei eine Zufallsvariable und sei wobei ein zufälliger Prozess ist. Angenommen, es gibt eine Prozedur , bei der mit der Wahrscheinlichkeit rekonstruieren kann . Dann ist $X$ $Y = g(X)$ $g(\cdot)$ $f$ $y = g(x)$ $x$ $p$
$I (X; Y) \geq p H (X) - H (p)$ $I(X; Y) \ge pH(X) − H(p)$

Mit anderen Worten, wenn ich rekonstruieren kann, gibt es viele gegenseitige Informationen im System.

Gibt es eine "Umkehrung" zu Fanos Ungleichung: etwas von der Form

"Bei einem Kanal mit ausreichender gegenseitiger Information gibt es ein Verfahren zum Rekonstruieren der fehlerhaften Eingabe von der Ausgabe, das von der gegenseitigen Information abhängt."

Es wäre zu viel zu erwarten, dass dieses Verfahren auch effizient wäre, aber es wäre auch interessant, (natürliche) Beispiele zu sehen, bei denen die Rekonstruktion existiert, aber ineffizient sein muss.

it.information-theory randomized-algorithms

— Suresh Venkat
quelle

12

Betrachten Sie die folgende Rekonstruktionsprozedur : gegeben , Ausgabe , so dass maximiert wird. Die Wahrscheinlichkeit, dass diese Prozedur erfolgreich ist, ist . Dies ist auch , wobei die Min-Entropie der Zufallsvariablen ist, die von abhängig ist . Wir wissen, dass , wobei die Standard-Shannon-Entropie der Zufallsvariablen . Jetzt müssen wir nur noch die Obergrenze $P(y)$ $y$ $x$ $\Pr[X = x \mid Y = y]$ $\max_x \Pr[x \mid Y = y]$ $2^{-H_\infty(X | Y = y)}$ $H_\infty(X \mid Y = y)$ $X$ $Y = y$ $H_\infty(X) \leq H_1(X)$ $H_1(X)$ $X$ $H_\infty(X|Y = y)$ in Bezug auf die gegenseitige Information . $I(X:Y)$

Schreibe . Unter Verwendung der oben erwähnten Ungleichung ist oder . $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$ $I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$ $\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

Die Wahrscheinlichkeit, dass die Prozedur erfolgreich ist, wenn und zufällig ausgewählt werden, ist , was nach Konkavität mindestens beträgt . Somit beträgt die Wahrscheinlichkeit, dass die Prozedur erfolgreich ist, mindestens . $X$ $Y$ $\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$ $2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$ $2^{I(X:Y) - H(X)}$

Diese Prozedur ist optimal: Bei jeder Zufallsprozedur ist die Erfolgswahrscheinlichkeit , die punktweise maximiert wird, wenn das wahrscheinlichste deterministisch ausgibt . $P$ $\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$ $P(y)$ $x$

— Henry Yuen
quelle

1

Gibt es also eine quantitative Aussage, die eine Umkehrung der Ungleichung von Fano ist, die sich aus diesem Argument ergibt?

— Mobius Knödel

Was meinst du mit quantitativ? Das Argument, das ich oben gegeben habe, sollte lauten: "Bei einem Kanal mit gegenseitiger Information gibt es ein Rekonstruktionsverfahren mit höchstens ."

I (X : Y)

$I(X:Y)$

1 - 2^{I (X : Y) - H (X)}

$1 - 2^{I(X:Y) - H(X)}$

— Henry Yuen

2

Schöne Antwort und Beweis. Die Grenze in Ihrer Antwort kann also auch umgeschrieben werden: da per Definition ist. Dies erschien nach meinem besten Wissen in IEEE ISIT 1994 in einem Vortrag von Baumer.

p_{e r r} \leq 1 - 2^{I (X; Y) - H (X)} = 1 - 2^{- H (X | Y)}, (1)

$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$

I (X; Y) = H (X) - H (X | Y)

$I(X;Y)=H(X)-H(X|Y)$

In ähnlicher Weise kann man wobei ist die Renyi-Entropie der OrdnungHier ist also ist die Grenze (2) enger als (1).

p_{e r r} \leq 1 - \sum_{y \in Y} P_{Y} (y) 2^{- H_{2} (X | Y)}, (2)

$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$

H_{α} (Z) = \frac{1}{1 - α} (\sum_{z \in Z} P_{Z} (z)^{α})

$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$

α \in (0, 1) \cup (1, \infty) .

$\alpha \in (0,1)\cup(1,\infty).$

α = 2,

$\alpha=2,$

— Kodlu
quelle