Gibt es Beispiele dafür, wo der zentrale Grenzwertsatz nicht gilt?

32

Wikipedia sagt -

In der Wahrscheinlichkeitstheorie legt der zentrale Grenzwertsatz (Central Limit Theorem, CLT) fest, dass in den meisten Situationen , wenn unabhängige Zufallsvariablen addiert werden, ihre ordnungsgemäß normalisierte Summe zu einer Normalverteilung tendiert (informell eine "Glockenkurve"), selbst wenn die ursprünglichen Variablen selbst keine sind normal verteilt...

Wenn "in den meisten Situationen" steht, in welchen Situationen funktioniert der zentrale Grenzwertsatz nicht?

— Ryan McCauley
quelle

33

Um dies zu verstehen, müssen Sie zuerst eine Version des zentralen Grenzwertsatzes angeben. Hier ist die "typische" Aussage des zentralen Grenzwertsatzes:

Lindeberg – Lévy CLT. Angenommen, ist eine Folge von iid Zufallsvariablen mit und . Sei . Wenn sich Unendlichkeit nähert, konvergieren die Zufallsvariablen in der Verteilung zu einem normalen d. ${X_1, X_2, \dots}$ $E[X_i] = \mu$ $Var[X_i] = \sigma^2 < \infty$ $S_{n}:={\frac {X_{1}+\cdots +X_{n}}{n}}$ $n$ $\sqrt{n}(S_n − \mu)$ $N(0,\sigma^2)$

$\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2}) .$ ${\displaystyle {\sqrt {n}}\left(\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)-\mu \right)\ {\xrightarrow {d}}\ N\left(0,\sigma ^{2}\right).}$

Wie unterscheidet sich dies von der informellen Beschreibung und wo liegen die Lücken? Es gibt verschiedene Unterschiede zwischen Ihrer informellen Beschreibung und dieser Beschreibung, von denen einige in anderen Antworten erörtert wurden, jedoch nicht vollständig. Wir können dies also in drei spezifische Fragen umwandeln:

Was passiert, wenn die Variablen nicht identisch verteilt sind?
Was ist, wenn die Variablen eine unendliche Varianz oder einen unendlichen Mittelwert haben?
Wie wichtig ist Unabhängigkeit?

Nehmen Sie diese nacheinander,

Nicht identisch verteilt . Die besten allgemeinen Ergebnisse sind die Lindeberg- und Lyaponov-Versionen des zentralen Grenzwertsatzes. Grundsätzlich kann man, solange die Standardabweichungen nicht zu stark anwachsen, einen vernünftigen zentralen Grenzwertsatz daraus ziehen.

Lyapunov CLT. Angenommen, ist eine Folge unabhängiger Zufallsvariablen mit jeweils endlichem Erwartungswert und Varianz Definiere: ${X_1, X_2, \dots}$ $\mu_i$ $\sigma^2$ $s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$

Wenn für ein , Lyapunovs Bedingung ist erfüllt, dann ergibt sich eine Summe von konvergiert in der Verteilung zu einer normalen Zufallsvariablen, da n gegen unendlich geht: $\delta > 0$ $\lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum_{i=1}^{n}\operatorname {E} \left[|X_{i}-\mu _{i}|^{2+\delta }\right]=0$ $X_i − \mu_i / s_n$

${{\frac {1}{s_{n}}}\sum _{i=1}^{n}\left(X_{i}-\mu_{i}\right)\ {\xrightarrow {d}}\ N(0,1).}$

Unendliche Varianzsätze ähnlich dem zentralen Grenzwertsatz existieren für Variablen mit unendlicher Varianz, aber die Bedingungen sind wesentlich enger als für den üblichen zentralen Grenzwertsatz. Im Wesentlichen muss der Schwanz der Wahrscheinlichkeitsverteilung für asymptotisch zu . In diesem Fall konvergieren entsprechend skalierte Summanden zu einer stabilen Levy-Alpha- Verteilung. $|x|^{-\alpha-1}$ $0 < \alpha < 2$

Wichtigkeit der Unabhängigkeit Es gibt viele verschiedene zentrale Grenzwertsätze für nicht unabhängige Folgen von . Sie sind alle sehr kontextbezogen. Wie Batman betont, gibt es eine für Martingales. Diese Frage ist ein fortlaufendes Forschungsgebiet mit vielen, vielen unterschiedlichen Variationen, abhängig vom spezifischen Kontext des Interesses. Diese Frage zu Math Exchange ist ein weiterer Beitrag zu dieser Frage. $X_i$

— John
quelle

2

Ich habe ein ">" aus einer Formel entfernt, die sich meiner Meinung nach aufgrund des Zitierungssystems eingeschlichen hat. Sie können die Bearbeitung jederzeit rückgängig machen, wenn dies beabsichtigt war.

— Silverfish

Eine dreieckige Array-CLT ist wahrscheinlich eine repräsentativere CLT als die angegebene. Da nicht unabhängig, sind Martingale CLTs einigermaßen häufig verwendeten Fall.

— Batman

@ Batman, was ist ein Beispiel für ein dreieckiges Array CLT? Fühlen Sie sich frei, meine Antwort zu bearbeiten, um sie hinzuzufügen. Ich kenne mich damit nicht aus.

— John

Sowas wie sek. 4.2.3 in personal.psu.edu/drh20/asymp/lectures/p93to100.pdf

— Batman

1

"Solange die Standardabweichungen nicht zu stark wachsen" Oder schrumpfen (zB:

σ_{i}^{2} = σ_{i - 1}^{2} / 2

$\sigma_i^2 = \sigma_{i-1}^2/2$

— 2/2

21

Obwohl ich mir ziemlich sicher bin, dass es schon einmal beantwortet wurde, ist hier noch eines:

Es gibt mehrere Versionen des zentralen Grenzwertsatzes, wobei die allgemeinste darin besteht, dass bei beliebigen Wahrscheinlichkeitsdichtefunktionen die Summe der Variablen normal verteilt wird, wobei der Mittelwert gleich der Summe der Mittelwerte ist und die Varianz die Summe ist der einzelnen Varianzen.

Eine sehr wichtige und relevante Einschränkung ist, dass der Mittelwert und die Varianz der angegebenen PDFS existieren müssen und endlich sein müssen.

Nehmen Sie also einfach ein PDF ohne Mittelwert oder Varianz - und der zentrale Grenzwertsatz wird nicht mehr gültig sein. Nehmen Sie zum Beispiel eine Lorentzsche Verteilung.

— Cherub
quelle

+1 Oder nehmen Sie eine Verteilung mit einer unendlichen Varianz, wie die Verteilung eines zufälligen Spaziergangs.

— Alexis

2

@Alexis - Angenommen, Sie betrachten einen zufälligen Gang zu einem endlichen Zeitpunkt, dann hätte ich gedacht, er hätte eine endliche Varianz, dh die Summe von iid Schritten mit jeweils endlicher Varianz

n

$n$

— Henry

1

@Henry: Nein, nehme nicht zu einem Zeitpunkt an, sondern die Varianz der Verteilung aller möglichen Zufallsspaziergänge unendlicher Länge.

— Alexis

1

@Alexis Wenn jeder Schritt des Random Walks mit gleicher Wahrscheinlichkeit oder iid ist und die Positionen impliziert der zentrale Grenzwertsatz korrekt, dass Sie als die Verteilung von haben konvergiert bei der Verteilung auf

X_{i}

$X_i$

+ 1

$+1$

- 1

$-1$

Y_{n} = \sum_{1}^{n} X_{i}

$Y_n =\sum_1^n X_i$

n \to \infty

$n \to \infty$

\sqrt{n} (\frac{1}{n} Y_{n}) = \frac{Y_{n}}{\sqrt{n}}

$\sqrt{n}\left(\frac1n Y_n\right) = \frac{Y_n}{\sqrt{n}}$

N (0, 1)

$\mathcal N(0,1)$

— Henry

1

@Alexis Ist für die CLT nicht von Bedeutung, da jede einzelne Verteilung immer noch eine endliche Varianz hat.

— Cubic

15

Nein, CLT gilt immer dann, wenn seine Annahmen zutreffen. Qualifikationen wie "in den meisten Situationen" sind informelle Verweise auf die Bedingungen, unter denen CLT angewendet werden sollte.

Beispielsweise ergibt eine lineare Kombination unabhängiger Variablen aus der Cauchy-Verteilung keine normalverteilte Variable . Einer der Gründe ist, dass die Varianz für die Cauchy-Verteilung undefiniert ist , während CLT bestimmte Bedingungen an die Varianz stellt, z. B. dass sie endlich sein muss. Eine interessante Folgerung ist, dass Monte-Carlo-Simulationen, die durch CLT motiviert sind, mit Monte-Carlo-Simulationen vorsichtig sein müssen, wenn es um Verteilungen mit Fettschwänzen wie Cauchy geht.

Beachten Sie, dass es eine verallgemeinerte Version von CLT gibt. Es funktioniert für unendliche oder undefinierte Varianzen, wie z. B. die Cauchy-Verteilung. Im Gegensatz zu vielen gut funktionierenden Verteilungen bleibt die ordnungsgemäß normalisierte Summe der Cauchy-Zahlen Cauchy. Es konvergiert nicht zu Gauß.

Übrigens haben nicht nur Gaussian, sondern viele andere Distributionen glockenförmige PDFs, z. B. Student t. Deshalb ist die von Ihnen zitierte Beschreibung ziemlich liberal und ungenau, vielleicht mit Absicht.

— Aksakal
quelle

7

Hier ist eine Illustration der Antwort von Cherub, ein Histogramm von 1e5, das aus skalierten (nach ) Stichprobenmitteln von t-Verteilungen mit zwei Freiheitsgraden erstellt wurde, sodass die Varianz nicht existiert . $\sqrt{n}$

Wenn die CLT zutrifft, sollte das Histogramm für so groß wie ist, der Dichte einer Standardnormalverteilung ähneln (die z. B. eine Dichte von in ihrer Spitze aufweist). was es offenbar nicht tut. $n$ $n=1000$ $1/\sqrt{2\pi}\approx0.4$

library(MASS)
n <- 1000
samples.from.t <- replicate(1e5, sqrt(n)*mean(rt(n, df = 2)))
truehist(samples.from.t, xlim = c(-10,10), col="salmon")

— Christoph Hanck
quelle

3

Sie müssen hier etwas vorsichtig sein, als ob Sie dies mit einer Verteilung mit sagen wir Freiheitsgraden tun würden, dann würde das Central-Limit-Theorem angewendet werden, aber Ihr Graph würde keine Spitzendichte um sondern stattdessen um da die ursprüngliche Varianz nicht

t

$t$

3

$3$

0.4

$0.4$

\frac{1}{\sqrt{6 π}} \approx 0.23

$\frac1{\sqrt{6\pi}}\approx 0.23$

1

$1$

— Henry

Das ist ein guter Punkt, man könnte den Mittelwert standardisieren, indem sd(x)man etwas erhält, das, wenn die CLT funktioniert, nach dem Satz von Slutzky zu einer N (0,1) -Variate konvergiert. Ich wollte das Beispiel einfach halten, aber Sie haben natürlich Recht.

— Christoph Hanck

6

Ein einfacher Fall, in dem die CLT aus sehr praktischen Gründen nicht gelten kann, ist, wenn sich die Folge von Zufallsvariablen ihrer Wahrscheinlichkeitsgrenze streng von einer Seite nähert . Dies tritt beispielsweise bei Schätzern auf, die etwas schätzen, das an einer Grenze liegt.

Das Standardbeispiel ist hier vielleicht die Schätzung von thgr in einer Stichprobe von iid-Uniformen thgr . Der Maximum - Likelihood - Schätzer wird die maximale Ordnungsstatistik sein, und es wird nähern notwendigerweise nur von unten: naiv denken, da ihre Wahrscheinlichkeit Grenze sein wird , kann der Schätzer nicht eine Verteilung hat „um“ - und die CLT ist Weg. $\theta$ $U(0,\theta)$ $\theta$ $\theta$ $\theta$

Der richtig skalierte Schätzer hat eine begrenzende Verteilung - jedoch nicht die "CLT-Sorte".

— Alecos Papadopoulos
quelle

3

Hier finden Sie eine schnelle Lösung .

Ausnahmen zum zentralen Grenzwertsatz ergeben sich

Bei mehreren Maxima gleicher Höhe und
Wo die zweite Ableitung maximal verschwindet.

Es gibt bestimmte andere Ausnahmen, die in der Antwort von @cherub aufgeführt sind.

Dieselbe Frage wurde bereits bei math.stackexchange gestellt . Dort können Sie die Antworten überprüfen.

— Ferdi
quelle

5

Mit "Maxima" meinen Sie Modi? Bimodal zu sein hat nichts damit zu tun, CLT nicht zu befriedigen.

— Kumulierung

@Acccumulation: Die Formulierung hier ist verwirrend , da es bezieht sich eigentlich auf die PGF eines diskreten rv

M (z) = \sum_{n = - \infty}^{\infty} P (X = n) z^{n}

$M(z)=\sum_{n=-\infty}^\infty P(X=n)z^n$

— Alex R.

@AlexR. Die Antwort macht überhaupt keinen Sinn, ohne den Link durchzulesen, und ist auch mit dem Link alles andere als klar. Ich neige dazu, noch schlechter als eine reine Link-Antwort abzustimmen.

— Kumulierung