Chernoff-Ungleichung für Zufallsvariable mit 3 Ergebnissen

Angenommen, wir haben eine Zufallsvariable, die nicht numerische Werte a, b, c annimmt und quantifizieren möchte, wie die empirische Verteilung von Stichproben dieser Variablen von der tatsächlichen Verteilung abweicht. In diesem Fall gilt die folgende Ungleichung (von Cover & Thomas ).$n$

Satz 12.4.1 (Satz von Sanov): Sei iid . Sei eine Menge von Wahrscheinlichkeitsverteilungen. Dann ist wobei die Verteilung in E ist, die in der relativen Entropie Q am nächsten kommt .$X_1, X_2, \ldots, X_n$$\sim Q(x)$
$E \subseteq \mathscr{P}$

$$Q^n(E) = Q^n(E \cap \mathscr{P}_n) \leq (n+1)^{|\mathcal{X}|}2^{-nD(P^*||Q)},$$ E $$P^* = \arg\min_{P \in E} D(P||Q),$$ $E$$Q$

Diese Ungleichung ist für kleine n ziemlich locker $n$. Für binäre Ergebnisse ist $|\mathcal{X}|=2$ und die Chernoff-Hoeffding- Bindung viel enger.

Gibt es eine ähnlich enge Grenze für $|\mathcal{X}|=3$ ?

Sie können ziemlich gute Grenzen erhalten, indem Sie die Zufallsvariable berücksichtigen, die 1 ist, wenn und ansonsten Null ist (für , das sich über Versuche erstreckt, und , das sich über Kategorien erstreckt). Für jedes feste die unabhängig und daher kann unter Verwendung von Chernoff-Grenzen analysiert werden. Dann mache eine Union, die über gebunden ist . X i = j 1 ≤ i ≤ n 1 ≤ j ≤ 3 j Y i j ∑ i Y i j$Y_{ij}$$X_i = j$$1 \le i \le n$$1 \le j \le 3$$j$$Y_{ij}$$\sum_i Y_{ij}$$j$

Wenn das oben Genannte nicht ausreicht, schlage ich vor, dass Sie sich das Modell der Kugeln und Behälter ansehen, z. B. in Upfals und Mitzenmachers Lehrbuch. Dieses Modell ist das gleiche wie Ihres, außer dass einige Ihrer Behälter mit größerer Wahrscheinlichkeit als andere Bälle in ihnen landen, oder? Es gibt einige ausgefeiltere Techniken, die Poisson-Näherungen in diesem Modell beinhalten und wahrscheinlich mit ungleichmäßigen Bin-Wahrscheinlichkeiten auf Ihre Einstellung erweiterbar sind.

Es gibt nichts an Chernoff Hoeffding-Grenzen, was für boolesche Variablen spezifisch ist. Wenn iid reelle Zufallsvariablen mit , können Sie eine Chernoff-Grenze anwenden. Eine gute Referenz ist "Konzentration der Maßnahmen zur Analyse randomisierter Algorithmen" ( http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.120.2561&rep=rep1&type=pdf ). 0 ≤ X i ≤ $X_1,\ldots,X_n$$0 \leq X_i \leq 1$