Wann versagt das Gesetz der großen Zahlen?

Die Frage ist nur, was im Titel steht: Wann versagt das Gesetz der großen Zahlen? Ich meine, in welchen Fällen entspricht die Häufigkeit eines Ereignisses nicht der theoretischen Wahrscheinlichkeit?

Es gibt zwei Theoreme (von Kolmogorov) und beide erfordern, dass der erwartete Wert endlich ist. Die erste gilt, wenn die Variablen IID sind, die zweite, wenn die Abtastung unabhängig ist und die Varianz von $X_n$ erfüllt ist

$$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} < \infty$$

Angenommen, alle $X_n$ haben den erwarteten Wert 0, aber ihre Varianz ist $n^2$ so dass die Bedingung offensichtlich fehlschlägt. Was passiert dann? Sie können immer noch einen geschätzten Mittelwert berechnen, aber dieser Mittelwert tendiert nicht zu 0, wenn Sie tiefer und tiefer sampeln. Es wird dazu neigen, mehr und mehr abzuweichen, wenn Sie die Probenahme fortsetzen.

Nennen wir ein Beispiel. Angenommen, ist einheitlich U ( - n 2 n , n 2 n ), so dass die obige Bedingung episch versagt.$X_n$$U(-n2^n , n2^n)$

$$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} = \sum_{n=1}^\infty \frac{n^2 2^{2n+2}}{12}\frac{1}{n^2} = \frac{1}{3} \sum_{n=1}^\infty 4^n = \infty.$$

Indem ich das feststelle

$$\bar{X}_n = \frac{X_n}{n} + \frac{n-1}{n}\bar{X}_{n-1},$$

wir sehen durch Induktion, dass der berechnete Durchschnitt immer innerhalb des Intervalls liegt ( - 2 n , 2 n ) . Durch die Verwendung der gleichen Formel für n + 1 sehen wir auch , dass es immer eine Wahrscheinlichkeit von mehr als 1 / 8 daß ˉ X n + 1 liegt außerhalb ( - 2 n , 2 n ) . In der Tat ist X n + $\bar{X}_n$$(-2^n, 2^n)$$n+1$$1/8$$\bar{X}_{n+1}$$(-2^n, 2^n)$ ist einheitlichU(-2n+1,2n+1)und liegt außerhalb(-2n,2n)mitWahrscheinlichkeit1/4. Auf der anderen Seite,$\frac{X_{n+1}}{n+1}$$U(-2^{n+1},2^{n+1})$$(-2^n, 2^n)$$1/4$istin(-2n,2n)durch Induktion, und durch Symmetrie ist es positiv mitWahrscheinlichkeit1/2. Aus diesen Beobachtungen folgt sofortdaß ˉ X n+1größer als2noder kleinerals-2n,jeweils mit einer Wahrscheinlichkeitgrößer als1/16. Da die Wahrscheinlichkeit, dass| ˉ X n+1| $\frac{n}{n+1}\bar{X}_n$$(-2^n, 2^n)$$1/2$$\bar{X}_{n+1}$$2^n$$-2^n$$1/16$ größerals 1 / 8 , kann es keine Konvergenz zu 0, wie n gegen unendlich geht.$|\bar{X}_{n+1}| > 2^n$$1/8$$n$

Nun, um speziell Ihre Frage zu beantworten, sollten Sie ein Ereignis . Wenn ich es richtig verstanden habe, fragst du: "Unter welchen Bedingungen ist die folgende Aussage falsch?"$A$

$$\lim_{n \rightarrow \infty} \frac{1}{n}\sum_{k = 1}^{n} 1_A(X_k) = P(X \in A), \; [P]\;a.s.$$

Dabei ist die Indikatorfunktion des Ereignisses A , dh 1 A ( X k ) = 1, wenn X k ≤ A und 0 ist, und die X k sind identisch verteilt (und wie X verteilt ).$1_A$$A$ $1_A(X_k) = 1$$X_k \in A$$0$$X_k$$X$

Wir sehen, dass die obige Bedingung gilt, da die Varianz einer Indikatorfunktion oben durch 1/4 begrenzt ist, was die maximale Varianz einer Bernouilli 0-1-Variablen ist. Was jedoch schief gehen kann, ist die zweite Annahme des starken Gesetzes der großen Zahlen, nämlich die unabhängige Abtastung . Wenn die Zufallsvariablen nicht unabhängig abgetastet werden, ist die Konvergenz nicht gewährleistet.$X_k$

Wenn beispielsweise = X 1 für alle k ist, dann ist das Verhältnis entweder 1 oder 0, unabhängig vom Wert von n , so dass keine Konvergenz auftritt (es sei denn, A hat natürlich die Wahrscheinlichkeit 0 oder 1). Dies ist ein falsches und extremes Beispiel. Mir sind keine praktischen Fälle bekannt, in denen eine Konvergenz mit der theoretischen Wahrscheinlichkeit nicht eintreten wird. Die Möglichkeit besteht jedoch, wenn die Probenahme nicht unabhängig ist.$X_k$$X_1$$k$$n$$A$