Beispiel einer Verteilung, bei der ein großer Stichprobenumfang für den zentralen Grenzwertsatz erforderlich ist

Einige Bücher geben an, dass eine Stichprobengröße von 30 oder höher erforderlich ist, damit der zentrale Grenzwertsatz eine gute Näherung für ergibt . $\bar{X}$

Ich weiß, dass dies nicht für alle Distributionen ausreicht.

Ich möchte einige Beispiele für Verteilungen sehen, bei denen selbst bei einer großen Stichprobengröße (möglicherweise 100 oder 1000 oder höher) die Verteilung des Stichprobenmittelwerts immer noch ziemlich verzerrt ist.

Ich weiß, dass ich solche Beispiele schon einmal gesehen habe, aber ich kann mich nicht erinnern, wo und ich kann sie nicht finden.

— Graphth
quelle

Betrachten Sie eine Gamma-Verteilung mit dem Formparameter . Nehmen Sie die Skala als 1 (es spielt keine Rolle). Angenommen, Sie betrachten als nur "ausreichend normal". Dann hat eine Verteilung, für die Sie 1000 Beobachtungen benötigen, um ausreichend normal zu sein, eine -Verteilung.

α

$\alpha$

Gamma (α_{0}, 1)

$\text{Gamma}(\alpha_0,1)$

Gamma (α_{0} / 1000, 1)

$\text{Gamma}(\alpha_0/1000,1)$

— Glen_b

@ Glen_b, warum nicht eine offizielle Antwort machen und ein bisschen weiterentwickeln?

— gung - Wiedereinsetzung von Monica

Jede ausreichend kontaminierte Verteilung funktioniert in der gleichen Weise wie im Beispiel von @ Glen_b. Zum Beispiel , wenn die zugrundeliegende Verteilung eine Mischung aus einem Normal (0,1) und einem Normal (großen Wert, 1) ist, wobei letztere mit nur einem winzigen Wahrscheinlichkeit erscheinen, dann interessante Dinge passieren: (1) die meiste Zeit , die Verunreinigung tritt nicht auf und es gibt keine Anzeichen für eine Schiefe; aber (2) manchmal erscheint die Verunreinigung und die Schiefe in der Probe ist enorm. Die Verteilung des Stichprobenmittelwerts ist ungeachtet dessen stark verzerrt, aber Bootstrapping ( z. B. ) erkennt dies normalerweise nicht.

— whuber

Das Beispiel von @ whuber ist aufschlussreich und zeigt, dass der zentrale Grenzwertsatz theoretisch willkürlich irreführend sein kann. Ich nehme an, man muss sich in praktischen Experimenten fragen, ob es einen sehr großen Effekt geben könnte, der sehr selten auftritt, und das theoretische Ergebnis mit ein wenig Umsicht anwenden.

— David Epstein

Antworten:

Einige Bücher geben an, dass eine Stichprobengröße von 30 oder höher erforderlich ist, damit der zentrale Grenzwertsatz eine gute Näherung für . $\bar{X}$

Diese weit verbreitete Faustregel ist so gut wie völlig unbrauchbar. Es gibt Nicht-Normalverteilungen, für die n = 2 in Ordnung ist, und Nicht-Normalverteilungen, für die viel größer ist als ausreichend. Ohne ausdrückliche Einschränkung der Umstände ist die Regel daher irreführend. In jedem Fall, auch wenn es irgendwie wahr wäre, würde das erforderliche abhängig von dem, was Sie taten, variieren. Oft erhalten Sie gute Näherungen in der Nähe des Verteilungszentrums bei kleinem , benötigen jedoch ein viel größeres , um eine annehmbare Näherung im Schwanz zu erhalten. $n$ $n$ $n$ $n$

Bearbeiten: In den Antworten auf diese Frage finden Sie zahlreiche, aber anscheinend einstimmige Meinungen zu diesem Thema sowie einige gute Links. Ich werde mich jedoch nicht darum kümmern, da Sie es bereits klar verstehen.

Ich möchte einige Beispiele für Verteilungen sehen, bei denen selbst bei einer großen Stichprobengröße (möglicherweise 100 oder 1000 oder höher) die Verteilung des Stichprobenmittelwerts immer noch ziemlich verzerrt ist.

Beispiele sind relativ einfach zu konstruieren; Eine einfache Möglichkeit besteht darin, eine unendlich teilbare Verteilung zu finden , die nicht normal ist, und sie aufzuteilen. Wenn Sie eine haben, die sich dem Normalen annähert, wenn Sie mitteln oder zusammenfassen, beginnen Sie an der Grenze von 'Nahe am Normalen' und teilen Sie sie so weit, wie Sie möchten. Also zum Beispiel:

Betrachten Sie eine Gamma-Verteilung mit dem Formparameter . Nehmen Sie die Skala als 1 (Skala spielt keine Rolle). Nehmen wir an, Sie betrachten als "ausreichend normal". Dann hat eine Verteilung, für die Sie 1000 Beobachtungen benötigen, um ausreichend normal zu sein, eine -Verteilung. $α$ $\text{Gamma}(α_0,1)$ $\text{Gamma}(α_0/1000,1)$

Also, wenn Sie das Gefühl haben, dass ein Gamma mit 'normal genug' ist - $\alpha=20$

Gamma (20) pdf

Teilen Sie dann durch 1000, um : $\alpha=20$ $\alpha = 0.02$

Gamma (0,02) pdf

Der Durchschnitt von 1000 davon hat die Form des ersten PDFs (aber nicht dessen Maßstab).

Wenn Sie stattdessen eine unendlich teilbare Verteilung wählen, die sich nicht der Normalverteilung annähert, wie z. B. der Cauchy, dann gibt es möglicherweise keine Stichprobengröße, bei der die Stichprobenmittel ungefähr normale Verteilungen haben (oder in einigen Fällen nähern sie sich immer noch der Normalverteilung an, aber Sie haben keinen Effekt für den Standardfehler. $\sigma/\sqrt n$

@whubers Argument über kontaminierte Verteilungen ist sehr gut; Es kann sich lohnen, eine Simulation mit diesem Fall zu versuchen und zu sehen, wie sich die Dinge in vielen solchen Beispielen verhalten.

— Glen_b - Setzen Sie Monica wieder ein
quelle

$\sigma$ $\sigma$ $t$ $\chi^2$ $t$ $t$ $n=30$ $s^2$ $\bar{X}$

— Frank Harrell
quelle

s^{2}

$s^2$

Vielleicht finden Sie dieses Papier hilfreich (oder zumindest interessant):

http://www.umass.edu/remp/Papers/Smith&Wells_NERA06.pdf

Die Forscher von UMass haben tatsächlich eine Studie durchgeführt, die Ihrer Anfrage entspricht. Bei welcher Stichprobengröße folgen bestimmte verteilte Daten aufgrund von CLT einer Normalverteilung? Anscheinend sind viele Daten, die für psychologische Experimente gesammelt wurden, nicht annähernd normal verteilt, weshalb sich die Disziplin ziemlich stark auf CLT verlässt, um Rückschlüsse auf ihre Statistiken zu ziehen.

$\alpha = 0.05$

Table 2. Percentage of replications that departed normality based on the KS-test. 
 Sample Size 
           5   10   15   20   25  30 
Normal   100   95   70   65   60  35 
Uniform  100  100  100  100  100  95 
Bimodal  100  100  100   75   85  50

Seltsamerweise wurden 65 Prozent der normalverteilten Daten mit einer Stichprobengröße von 20 abgelehnt, und selbst mit einer Stichprobengröße von 30 wurden 35% immer noch abgelehnt.

Anschließend testeten sie mehrere stark verzerrte Verteilungen, die mit der Fleishman-Potenzmethode erstellt wurden:

$Y = aX + bX^2 +cX^3 + dX^4$

X stellt den Wert dar, der aus der Normalverteilung gezogen wird, während a, b, c und d Konstanten sind (beachte, dass a = -c ist).

Sie führten die Tests mit Stichprobengrößen bis zu 300 durch

Skew  Kurt   A      B      C       D 
1.75  3.75  -0.399  0.930  0.399  -0.036 
1.50  3.75  -0.221  0.866  0.221   0.027 
1.25  3.75  -0.161  0.819  0.161   0.049 
1.00  3.75  -0.119  0.789  0.119   0.062

Sie stellten fest, dass bei den höchsten Werten von Skew und Kurt (1,75 und 3,75) bei Stichprobengrößen von 300 keine Stichprobenmittel erzeugt wurden, die einer Normalverteilung folgten.

Leider glaube ich nicht, dass dies genau das ist, wonach Sie suchen, aber ich bin darauf gestoßen und fand es interessant und dachte, dass Sie es auch könnten.

— Eric Peterson
quelle

" Seltsamerweise wurden 65 Prozent der normalverteilten Daten mit einer Stichprobengröße von 20 abgelehnt, und selbst mit einer Stichprobengröße von 30 wurden 35 Prozent immer noch abgelehnt. " Um die Normalität vollständig spezifizierter normaler Daten zu testen (wofür der Test gedacht ist), muss er genau sein , wenn er richtig verwendet wird .

— Glen_b

@ Glen_b: Hier gibt es mehrere mögliche Fehlerquellen. Wenn Sie das Dokument lesen, werden Sie feststellen, dass das, was hier als "normal" aufgeführt ist, tatsächlich normale Zufallsvariablen mit einem Mittelwert von 50 und einer Standardabweichung von 10, auf die nächste Ganzzahl gerundet, sind . In diesem Sinne verwendet der verwendete Test bereits eine falsch spezifizierte Verteilung. Zweitens ist es nach wie vor scheint sie die Tests falsch durchgeführt haben, als meine Versuche zur Replikation zeigen , dass Mittel für eine Probe 20 solche Beobachtungen mit, die Ablehnungswahrscheinlichkeit über 27% liegt. (Fortsetzung)

— Kardinal

(Forts.) Drittens verwendet manche Software ungeachtet des oben Gesagten möglicherweise die asymptotische Verteilung und nicht die tatsächliche. Bei Stichprobengrößen von 10 KB sollte dies jedoch keine allzu große Rolle spielen (wenn die Daten nicht künstlich verknüpft wurden). Schließlich finden wir gegen Ende dieses Dokuments die folgende merkwürdige Aussage: Leider schränken die Eigenschaften des KS-Tests in S-PLUS die Arbeit ein. Die p-Werte für die vorliegende Studie wurden alle von Hand über die Mehrfachreplikationen zusammengestellt. Es wird ein Programm benötigt, um die p-Werte zu berechnen und sie im Vergleich zum gewählten Alpha-Level zu beurteilen.

— Kardinal

Hi @Glen_b. Ich glaube nicht, dass die Rundung die Ablehnungsrate hier reduzieren wird, weil ich glaube, dass sie mit den gerundeten Daten gegen die wahre Standardnormalverteilung getestet haben (was ich damit gemeint habe, dass der Test eine falsch spezifizierte Verteilung verwendet hat). (Vielleicht haben Sie stattdessen darüber nachgedacht, den KS-Test für eine diskrete Verteilung zu verwenden.) Die Stichprobengröße für den KS-Test betrug 10000, nicht 20; Sie haben jeweils 20 Replikationen mit einer Stichprobengröße von 10000 durchgeführt, um die Tabelle zu erhalten. Zumindest verstand ich die Beschreibung so, als ich das Dokument überflog.

— Kardinal

@cardinal - Sie haben natürlich Recht, vielleicht könnte dies die Ursache für einen erheblichen Teil der Ablehnungen bei großen Stichprobengrößen sein. Betreff: " Die Stichprobengröße für den KS-Test war 10000, nicht 20 " ... okay, das klingt immer merkwürdiger. Man muss sich fragen, warum sie glauben, dass eine dieser beiden Bedingungen von großem Wert ist und nicht umgekehrt.

— Glen_b