Reibungslose Weitergabe von Informationen im Laufe der Zeit

Angenommen, ich habe eine Ein-Bit-Zufallsvariable und sei eine natürliche Zahl. Ich möchte eine Folge von Zufallsvariablen st $X \in \{0,1\}$ $n$ $0 = X_0, X_1, \ldots, X_n = X$

H. (X. | {{X.}_{0}, \dots, {X.}_{k}}}) = 1 - - \frac{k}{n}

$H\left(X~|~\{X_0,\ldots,X_k\}\right) = 1-\frac{k}{n}$

Das heißt, jedes zusätzliche liefert der Information von , bis alles durch offenbart wird . Gibt es eine schöne Konstruktion für diese Sequenz? $X_k$ $1/n$ $X$ $X_n = X$

it.information-theory shannon-entropy

— Geoffrey Irving
quelle

Antworten:

Über Michael Kass: Sei ein Wiener Prozess, der bei beginnt , und definiere $Y(t)$ $Y(0) = X$

f (t) = H. (X. | Y. (t))

$f(t) = H(X~|~Y(t))$

Dann ist , und nimmt dazwischen gleichmäßig gleichmäßig zu. Somit kann für jedes gefunden werden, dass st die gewünschte bedingte Entropie hat ( wird eine abnehmende Funktion von ). $f(0) = 0$ $f(\infty)=1$ $f(t)$ $k$ $0 \le t \le \infty$ $X_k = Y(t)$ $t$ $k$

— Geoffrey Irving
quelle

Könnten Sie nicht einfach

wobei

XOR ist und

unabhängiges Bernoulli mit dem Mittelwert

X_{k} = X \oplus Y_{k}

$X_k = X \oplus Y_k$

\oplus

$\oplus$

Y_{k}

$Y_k$

p_{k}

$p_k$

— Sasho Nikolov

Ja, das ist eine zugegebenermaßen einfachere Methode. :)

— Geoffrey Irving

Das Problem bei der vorherigen Konstruktion besteht darin, dass es keine Garantie dafür gibt, dass nach der Übertragung von Bits eindeutig aufgedeckt wird (was eine Anforderung zu sein scheint). Hier ist eine ähnliche Konstruktion, die funktioniert, wenn ungerade ist. Erzeugen Sie zufällige Bits mit einer Wahrscheinlichkeit von 1/2, . Lassen und sein , die Anzahl von 1 und 0 in . Senden Sie nun S, wenn entweder und $X$ $n$ $n$ $n$ $S=Y_0, Y_1,...$ $N(0)$ $N(1)$ $S$ $X=1$ oder und ; andernfalls überträgt die eine Komplement von . $N(1)>N(0)$ $X=0$ $N(1)<N(0)$ $S$

— Siravan
quelle

Ich bin allerdings verwirrt. Sagen Sie in diesem Prozess, dass

. Wenn die ersten beiden gesendeten Bits 01 oder 10 sind, beträgt die Wahrscheinlichkeit, dass X 1 ist, wenn diese Bits gesehen werden, 1/2. Das gleiche gilt, wenn wir 11 oder 00 sehen. Dann beträgt die Entropie der bedingten Verteilung nicht 1/3 wie erforderlich.

n = 3

$n=3$

— Suresh Venkat

Wenn

1 ist, können die ersten beiden übertragenen Bits nicht 00 sein. Dann addiert das letzte Bit 1/2 Informationsbits mit einer Wahrscheinlichkeit von 2/3 (die ersten beiden Bits 01 oder 10) und 0 Informationsbits mit einer Wahrscheinlichkeit von 1/3 (11, denn egal was das Ergebnis ist 1).

X

$X$

— Siravan

Korrektur. Meine vorherige Analyse ist nicht korrekt. Ich denke, es gibt zwei Möglichkeiten, es zu betrachten. Der Algorithmus ist in Bezug auf Bits symmetrisch und überträgt ein Gesamtinformationsbit, sodass jedes Bit 1 / n Informationsbits beitragen sollte. Aber wenn wir die bedingten Wahrscheinlichkeiten berechnen wollen, wird es chaotisch. Ich glaube, die Situation ist eine Variante des Monty Hall-Problems ( en.wikipedia.org/wiki/Monty_Hall_problem ).

— Siravan

Die Random-Walk-Methode zeigt X am Ende unbedingt an, da der gesendete Endwert

. Es erfordert jedoch das Senden von reellen Zahlen anstelle von Bits.

Y (0) = X

$Y(0) = X$

— Geoffrey Irving