Ereignisse mit hoher Wahrscheinlichkeit ohne Koordinaten mit niedriger Wahrscheinlichkeit

9

$X$ $\Sigma^n$ $\Sigma$ $H(X) \ge (n- \delta)\cdot\log|\Sigma|$ $\delta$ $E \subseteq \rm{Supp}(X)$ $X$ $\Pr[X \in E] \ge 1 - \varepsilon$ $\varepsilon$

Wir sagen, dass ein Paar eine Koordinate mit niedriger Wahrscheinlichkeit von wenn . Wir sagen, dass ein String eine Koordinate mit niedriger Wahrscheinlichkeit von wenn eine Koordinate mit niedriger Wahrscheinlichkeit von für einige . $(i,\sigma)$ $E$ $\Pr[X \in E | X_i = \sigma] \le \varepsilon$ $x \in \Sigma^n$ $E$ $(i, x_i)$ $E$ $i$

Im Allgemeinen können einige Zeichenfolgen in Koordinaten mit niedriger Wahrscheinlichkeit von . Die Frage ist, ob wir immer ein Ereignis hoher Wahrscheinlichkeit finden können, so dass kein String in eine Koordinate mit niedriger Wahrscheinlichkeit von (und nicht von ) enthält. $E$ $E$ $E' \subseteq E$ $E'$ $E'$ $E$

Vielen Dank!

it.information-theory pr.probability

— Oder Meir
quelle

4

Hier ist ein Beispiel, das die Antwort von Harry Yuen ergänzt. Für ein Gegenbeispiel genügt es, geeignetes zu definieren und zu zeigen, dass jede große Teilmenge eine Koordinate mit niedriger Wahrscheinlichkeit von - eine Koordinate mit niedriger Wahrscheinlichkeit von ist notwendigerweise eine Koordinate mit niedriger Wahrscheinlichkeit -ordinate von . $X,E$ $E'\subseteq E$ $E$ $E$ $E'$

Außerdem werde ich die Bedingung bezüglich der Entropie ignorieren - das Anhängen von unabhängigen gleichmäßig verteilten Zufallsvariablen an (und das Nehmen von an ) erhöhtauf fast ohne zu beeinflussen, ob ein solches existiert (ich habe dies nicht sorgfältig durchdacht). $N$ $X$ $E$ $E\times \Sigma^N$ $H(X)/(n+N)\log|\Sigma|$ $1$ $E'$

Hier ist das Beispiel. Sei ein zufälliges Element von so dass jeder Vektor mit Hamming-Gewicht (dh Vektoren der Form ) eine Wahrscheinlichkeit und die hat All-One-Vektor hat die Wahrscheinlichkeit . Sei die Menge der Vektoren mit dem Hamming-Gewicht . $X$ $\{0,1\}^n$ $1$ $0\dots 010\dots 0$ $(1-\epsilon)/n$ $1\dots 1$ $\epsilon$ $E$ $1$

Betrachten wir eine Teilmenge . Wenn nicht leer ist, enthält es einen Vektor des Hamming-Gewichts , beispielsweise ohne Verlust der Allgemeinheit. Aber , was kleiner als wenn ist ungefähr . $E'\subseteq E$ $E'$ $1$ $100\dots 0$ $\Pr[X \in E'|X_i=1]=\frac{(1-\epsilon)/n}{(1-\epsilon)/n + \epsilon}$ $\epsilon$ $n$ $2/\epsilon^2$

— Colin McQuillan
quelle

6

Wie vergleicht sich mit ? Wenn sein kann , dann denke ich , können wir erreichen , was Sie wollen. Lassen . Man beachte, dass unter eine Wahrscheinlichkeitsmasse erhält . Let bezeichnet die Wahrscheinlichkeitsmasse in Zeichenfolge in zugeordneten , so dass die hat Symbol ten Koordinaten . $\epsilon$ $n$ $\epsilon$ $O(1/\sqrt{n})$ $B = \mbox{Supp}(X) - E$ $B$ $\epsilon$ $X$ $\lambda(i,\sigma)\epsilon$ $B$ $i$ $\sigma$

Angenommen waren eine geringe Wahrscheinlichkeit für einige Zeichenketten in Koordinaten . Let auf diese Zeichenfolgen zugewiesen , um die Wahrscheinlichkeitsmasse bezeichnen. Dann ist per Definition , was impliziert, dass . Wir können diese Zeichenfolgen mit geringer Wahrscheinlichkeit verwerfen, während wir nur einen -Verlust in prob erleiden. Masse . $(i,\sigma)$ $E$ $\delta(i,\sigma)$ $\frac{\delta(i,\sigma)}{\delta(i,\sigma) + \lambda(i,\sigma)\epsilon} \leq \epsilon$ $\delta(i,\sigma) \leq 2\lambda(i,\sigma)\epsilon^2$ $\delta(i,\sigma)$ $E$

Fahren Sie damit für alle möglichen Fehler , und am Ende verwerfen wir höchstens . Dies nutzt die Tatsache , daß für alle , . $(i,\sigma)$ $\sum_{i,\sigma} \delta(i,\sigma) \leq \sum_{i} \sum_{\sigma} 2\lambda(i,\sigma)\epsilon^2 \leq 2\sum_{i} \epsilon^2 = 2n\epsilon^2$ $i$ $\sum_{\sigma} \lambda(i,\sigma) = 1$

Wenn Sie möchten, dass die Wahrscheinlichkeitsmasse , muss so sein, dass oder genügt. $E'$ $1 -\gamma$ $\epsilon$ $\epsilon + 2n\epsilon^2 \leq \gamma$ $\epsilon = O(\gamma/\sqrt{2n})$

Mir ist im Moment nicht klar, ob diese Abhängigkeit von beseitigt werden kann; Ich werde weiter darüber nachdenken. $n$

— Henry Yuen
quelle

Oh, ich habe gerade festgestellt, dass sie eine stärkere Forderung freuen - nämlich, dass hat keinen geringe Wahrscheinlichkeit Koordinaten in Bezug auf , nicht . Ich werde heute später darauf zurückkommen.

E^{'}

$E'$

E^{'}

$E'$

E

$E$

— Henry Yuen

Vielen Dank! Ich suche ein Epsilon, das konstant ist, aber beliebig klein sein kann.

— Oder Meir