Ist das Testen der Normalität im Wesentlichen nutzlos?

Ein ehemaliger Kollege hat einmal zu mir gesagt:

Normalerweise wenden wir Normalitätstests auf die Ergebnisse von Prozessen an, die unter Null Zufallsvariablen erzeugen, die nur asymptotisch oder fast normal sind (wobei der asymptotische Teil von einer Menge abhängt, die wir nicht groß machen können). In Zeiten von billigem Speicher, Big Data und schnellen Prozessoren sollten Normalitätstests immer die Null der Normalverteilung für große (wenn auch nicht wahnsinnig große) Samples ablehnen. Daher sollten Normalitätstests perverserweise nur für kleine Stichproben verwendet werden, wenn sie vermutlich eine geringere Leistung und eine geringere Kontrolle über die Typ-I-Rate aufweisen.

Ist das ein gültiges Argument? Ist das ein bekanntes Argument? Gibt es bekannte Tests für eine „unschärfere“ Nullhypothese als die Normalität?

Es ist kein Streit. Es ist eine (ein bisschen nachdrückliche) Tatsache, dass formale Normalitätstests immer die riesigen Stichprobengrößen ablehnen, mit denen wir heute arbeiten. Es ist sogar leicht zu beweisen, dass selbst die kleinste Abweichung von der perfekten Normalität zu einem signifikanten Ergebnis führt, wenn n groß wird. Und da jeder Datensatz einen gewissen Grad an Zufälligkeit aufweist, ist kein einzelner Datensatz eine perfekt normalverteilte Stichprobe. In der angewandten Statistik ist die Frage jedoch nicht, ob die Daten / Residuen ... völlig normal sind, sondern normal genug, um die Annahmen zu treffen.

Lassen Sie mich mit dem Shapiro-Wilk-Test veranschaulichen . Der folgende Code erstellt eine Reihe von Verteilungen, die sich der Normalität nähern, jedoch nicht vollständig normal sind. Als nächstes testen wir, shapiro.testob eine Stichprobe aus diesen fast normalen Verteilungen von der Normalität abweicht. In R:

x <- replicate(100, { # generates 100 different tests on each distribution
                     c(shapiro.test(rnorm(10)+c(1,0,2,0,1))$p.value,   #$
                       shapiro.test(rnorm(100)+c(1,0,2,0,1))$p.value,  #$
                       shapiro.test(rnorm(1000)+c(1,0,2,0,1))$p.value, #$
                       shapiro.test(rnorm(5000)+c(1,0,2,0,1))$p.value) #$
                    } # rnorm gives a random draw from the normal distribution
               )
rownames(x) <- c("n10","n100","n1000","n5000")

rowMeans(x<0.05) # the proportion of significant deviations
  n10  n100 n1000 n5000 
 0.04  0.04  0.20  0.87 

Die letzte Zeile prüft, welcher Anteil der Simulationen für jede Stichprobengröße signifikant von der Normalität abweicht. So weicht in 87% der Fälle eine Stichprobe von 5000 Beobachtungen nach Shapiro-Wilks signifikant von der Normalität ab. Wenn Sie jedoch die qq-Diagramme sehen, würden Sie sich niemals für eine Abweichung von der Normalität entscheiden. Unten sehen Sie als Beispiel die qq-Diagramme für einen Satz von Zufallsstichproben

mit p-Werten

  n10  n100 n1000 n5000 
0.760 0.681 0.164 0.007 

Wenn man darüber nachdenkt, ob Normalitätstests "im Wesentlichen nutzlos" sind, muss man sich zuerst überlegen, wofür sie nützlich sein sollen. Viele Leute (zumindest viele Wissenschaftler) verstehen die Frage, die der Normalitätstest beantwortet, falsch.

Die Frage Normalitätstests beantworten: Gibt es überzeugende Beweise für eine Abweichung vom Gaußschen Ideal? Bei mäßig großen realen Datensätzen lautet die Antwort fast immer Ja.

Die Frage, die Wissenschaftler häufig von der Beantwortung des Normalitätstests erwarten: Weichen die Daten ausreichend vom Gaußschen Ideal ab, um die Verwendung eines Tests "zu verbieten", der eine Gaußsche Verteilung voraussetzt? Wissenschaftler möchten häufig, dass der Normalitätstest der Schiedsrichter ist, der entscheidet, wann herkömmliche (ANOVA usw.) Tests aufgegeben und stattdessen transformierte Daten analysiert oder einen rangbasierten nichtparametrischen Test oder einen Resampling- oder Bootstrap-Ansatz verwendet. Zu diesem Zweck sind Normalitätstests nicht sehr nützlich.

Ich denke, dass Normalitätstests als Begleiter für grafische Untersuchungen nützlich sein können. Sie müssen jedoch richtig eingesetzt werden. Meiner Meinung nach bedeutet dies, dass viele beliebte Tests, wie die Shapiro-Wilk-, Anderson-Darling- und Jarque-Bera-Tests, niemals verwendet werden sollten.

Bevor ich meinen Standpunkt erläutere, möchte ich noch einige Anmerkungen machen:

• In einem interessanten kürzlich erschienenen Aufsatz von Rochon et al. untersuchte die Auswirkung des Shapiro-Wilk-Tests auf den T-Test mit zwei Stichproben. Das zweistufige Verfahren des Testens auf Normalität, bevor beispielsweise ein T-Test durchgeführt wird, ist nicht ohne Probleme. Dann wieder, weder ist das zweistufige Verfahren der grafisch Normalität zu untersuchen , bevor Sie einen t-Test durchgeführt wird . Der Unterschied besteht darin, dass die Auswirkung des letzteren viel schwieriger zu untersuchen ist (da ein Statistiker etwa Mal die Normalität grafisch untersuchen müsste ...).$100,000$
• Es ist nützlich, die Nicht-Normalität zu quantifizieren , beispielsweise durch Berechnen der Probenversetzung, auch wenn Sie keinen formalen Test durchführen möchten.
• Die multivariate Normalität kann schwierig grafisch zu bewerten sein und die Konvergenz zu asymptotischen Verteilungen kann für multivariate Statistiken langsam sein. Normalitätstests sind daher in einer multivariaten Umgebung nützlicher.
• Normalitätstests sind möglicherweise besonders nützlich für Praktiker, die Statistiken als Black-Box-Methode verwenden . Wenn die Normalität abgelehnt wird, sollte der Arzt alarmiert sein und statt eines Standardverfahrens, das auf der Annahme der Normalität basiert, die Verwendung eines nichtparametrischen Verfahrens, die Anwendung einer Transformation oder die Konsultation eines erfahreneren Statistikers in Betracht ziehen.
• Wie von anderen angemerkt wurde, spart der CLT normalerweise den Tag , wenn groß genug ist. Was "groß genug" ist, unterscheidet sich jedoch für verschiedene Klassen von Distributionen.$n$

(In meiner Definition) Ein Test auf Normalität richtet sich gegen eine Klasse von Alternativen, wenn er für Alternativen aus dieser Klasse, aber nicht für Alternativen aus anderen Klassen empfindlich ist. Typische Beispiele sind Tests, die auf schiefe oder kurtotische Alternativen abzielen . Die einfachsten Beispiele verwenden die Probeschiefe und die Kurtosis als Teststatistik.

Gezielte Normalitätstests sind wohl häufig Omnibus-Tests (wie den Shapiro-Wilk- und Jarque-Bera-Tests) vorzuziehen, da es häufig vorkommt, dass nur einige Arten von Nichtnormalität für ein bestimmtes Inferenzverfahren von Belang sind .

Betrachten wir als Beispiel den Student-T-Test. Angenommen, wir haben eine iid-Stichprobe aus einer Verteilung mit Schiefe und (überschüssiger) KurtosisWenn symmetrisch zu seinem Mittelwert ist, ist . Sowohl als auch sind 0 für die Normalverteilung.$\gamma=\frac{E(X-\mu)^3}{\sigma^3}$$\kappa=\frac{E(X-\mu)^4}{\sigma^4}-3.$$X$$\gamma=0$$\gamma$$\kappa$

Unter Regularitätsannahmen erhalten wir für die cdf der Teststatistik folgende asymptotische Erweiterung : $T_n$

Dabei ist die PDF-Datei und die PDF- Datei der Standardnormalverteilung.$\Phi(\cdot)$$\phi(\cdot)$

$\gamma$ erscheint zum ersten Mal im Term , während im Term . Die asymptotische Leistung von ist wesentlich empfindlicher gegenüber Abweichungen von der Normalität in Form von Schiefe als in Form von Kurtosis.$n^{-1/2}$$\kappa$$n^{-1}$ T n$T_n$

Mit Hilfe von Simulationen kann nachgewiesen werden, dass dies auch für kleine . Daher ist der Student-T-Test empfindlich gegen Schräglage, aber relativ robust gegen schwere Schwänze, und es ist vernünftig, einen Test auf Normalität zu verwenden, der auf Schräglagen-Alternativen abzielt, bevor der T-Test angewendet wird .$n$

Als Faustregel ( kein Naturgesetz) ist die Schlußfolgerung über Mittelwerte empfindlich gegen Schrägstellung und die Schlußfolgerung über Varianzen empfindlich gegen Kurtosis.

Die Verwendung eines gezielten Normalitätstests hat den Vorteil, dass bei "gefährlichen" Alternativen eine höhere und bei weniger "gefährlichen" Alternativen eine niedrigere Leistung erzielt wird, was bedeutet, dass wir die Normalität aufgrund von gewonnenen Abweichungen von der Normalität weniger wahrscheinlich ablehnen Beeinträchtigt nicht die Leistung unserer Inferenzprozedur. Die Nichtnormalität wird auf eine Weise quantifiziert, die für das vorliegende Problem relevant ist. Dies ist grafisch nicht immer einfach zu bewerkstelligen.

$n$$|\gamma|\leq 1$

IMHO-Normalitätstests sind aus folgenden Gründen absolut nutzlos:

1. Bei kleinen Stichproben besteht eine gute Chance, dass die tatsächliche Verteilung der Population im Wesentlichen nicht normal ist, aber der Normalitätstest ist nicht leistungsfähig, um sie zu erfassen.

2. Bei großen Stichproben sind Dinge wie der T-Test und die ANOVA ziemlich robust gegenüber Nicht-Normalität.

3. Die ganze Idee einer normalverteilten Population ist jedenfalls nur eine bequeme mathematische Annäherung. Keine der Größen, mit denen typischerweise statistisch umgegangen wird, könnte plausibel Verteilungen mit einer Unterstützung aller reellen Zahlen haben. Zum Beispiel können Menschen keine negative Größe haben. Etwas kann keine negative Masse oder mehr Masse haben, als es im Universum gibt. Daher ist es sicher zu sagen , dass nichts ist genau normalerweise in der realen Welt verteilt.

Ich denke, dass ein Pre-Test auf Normalität (der informelle Bewertungen mit Grafiken beinhaltet) den Punkt verfehlt.

1. Benutzer dieses Ansatzes gehen davon aus, dass die Normalitätsbewertung eine Potenz nahe 1,0 hat.
2. Nichtparametrische Tests wie Wilcoxon, Spearman und Kruskal-Wallis haben bei Normalität eine Effizienz von 0,95.
3. Im Hinblick auf 2. kann man die Verwendung eines nichtparametrischen Tests vorab festlegen, wenn man sogar die Möglichkeit in Betracht zieht, dass die Daten möglicherweise nicht aus einer Normalverteilung stammen.
4. $Y$$Y$

Bevor Sie sich fragen, ob ein Test oder eine grobe Überprüfung auf Normalität "nützlich" ist, müssen Sie die Frage hinter der Frage beantworten: "Warum fragen Sie?"

Wenn Sie beispielsweise den Mittelwert einer Datenmenge nur auf ein Vertrauenslimit beschränken möchten , sind Abweichungen von der Normalität möglicherweise von Bedeutung, je nachdem, über wie viele Daten Sie verfügen und wie groß die Abweichungen sind. Abweichungen von der Normalität können jedoch von entscheidender Bedeutung sein, wenn Sie vorhersagen möchten, welcher Extremwert in zukünftigen Beobachtungen oder in der Population, aus der Sie eine Stichprobe gezogen haben, am höchsten sein wird.

Lassen Sie mich noch eine Kleinigkeit hinzufügen: Die
Durchführung eines Normalitätstests ohne Berücksichtigung des Alphafehlers erhöht Ihre allgemeine Wahrscheinlichkeit, einen Alphafehler auszuführen.

Sie werden nie vergessen, dass jeder zusätzliche Test dies tut, solange Sie nicht auf Alpha-Fehlerakkumulation kontrollieren. Ein weiterer guter Grund, die Normaltests zu verwerfen.

Die Antworten hier haben bereits einige wichtige Punkte angesprochen. Um es kurz zusammenzufassen:

• Es gibt keinen konsistenten Test, der feststellen kann, ob ein Datensatz tatsächlich einer Verteilung folgt oder nicht.
• Tests sind kein Ersatz für die visuelle Überprüfung der Daten und Modelle, um eine hohe Hebelwirkung zu ermitteln, Beobachtungen mit hohem Einfluss zu beobachten und ihre Auswirkungen auf Modelle zu kommentieren.
• Die Annahmen für viele Regressionsroutinen werden häufig fälschlicherweise als normalverteilte "Daten" [Residuen] angeführt, und dass dies von unerfahrenen Statistikern so interpretiert wird, dass der Analyst dies in gewissem Sinne formell bewerten muss, bevor er mit den Analysen fortfährt.

Ich füge eine Antwort hinzu, um zunächst einen meiner persönlich am häufigsten aufgerufenen und gelesenen statistischen Artikel zu zitieren: " Die Bedeutung von Normalitätsannahmen in großen Datensätzen zur öffentlichen Gesundheit " von Lumley et. al. Es lohnt sich in vollem Umfang zu lesen. In der Zusammenfassung heißt es:

Der t-Test und die lineare Regression der kleinsten Quadrate erfordern keine Annahme der Normalverteilung in ausreichend großen Proben. Frühere Simulationsstudien haben gezeigt, dass „ausreichend groß“ häufig unter 100 liegt und selbst für unsere extrem nicht normalen medizinischen Kostendaten weniger als 500 beträgt. Dies bedeutet, dass in der öffentlichen Gesundheitsforschung, wo die Stichproben häufig wesentlich größer sind, die t -test und das lineare Modell sind nützliche Standardwerkzeuge zum Analysieren von Unterschieden und Trends in vielen Datentypen, nicht nur in Daten mit Normalverteilungen. Formale statistische Tests auf Normalität sind besonders unerwünscht, da sie in den kleinen Stichproben, bei denen es auf die Verteilung ankommt, eine geringe Leistung und in den großen Stichproben, bei denen die Verteilung unwichtig ist, nur eine hohe Leistung aufweisen.

Obwohl die Eigenschaften der linearen Regression für große Stichproben gut bekannt sind, wurde nur wenig über die Stichprobengrößen geforscht, die für die Annahme der Normalität erforderlich sind, um unwichtig zu sein. Insbesondere ist nicht klar, wie die erforderliche Stichprobengröße von der Anzahl der Prädiktoren im Modell abhängt.

Der Fokus auf Normalverteilungen kann von den tatsächlichen Annahmen dieser Methoden abweichen. Die lineare Regression geht davon aus, dass die Varianz der Ergebnisvariablen annähernd konstant ist. Die primäre Einschränkung beider Methoden besteht jedoch darin, dass sie davon ausgehen, dass es ausreicht, Änderungen im Mittelwert der Ergebnisvariablen zu untersuchen. Wenn eine andere Zusammenfassung der Verteilung von größerem Interesse ist, sind der t-Test und die lineare Regression möglicherweise nicht geeignet.

Zusammenfassend lässt sich sagen: Normalität ist im Allgemeinen nicht die Diskussion oder die Aufmerksamkeit wert, die sie erhält, im Gegensatz zu der Wichtigkeit, eine bestimmte wissenschaftliche Frage zu beantworten. Wenn der Wunsch besteht, mittlere Datenunterschiede zusammenzufassen, sind der t-Test und die ANOVA oder die lineare Regression in einem viel breiteren Sinne gerechtfertigt. Tests, die auf diesen Modellen basieren, haben weiterhin das richtige Alpha-Niveau, auch wenn die Verteilungsannahmen nicht erfüllt werden, obwohl die Leistung möglicherweise nachteilig beeinflusst wird.

Die Gründe, warum Normalverteilungen die Aufmerksamkeit erhalten, die sie erhalten, können klassische Gründe sein, bei denen genaue Tests basierend auf F-Verteilungen für ANOVAs und Student-T-Verteilungen für den T-Test erhalten werden konnten. Die Wahrheit ist, dass wir uns unter den vielen modernen Fortschritten der Wissenschaft im Allgemeinen mit größeren Datensätzen befassen, als sie zuvor gesammelt wurden. Wenn es sich tatsächlich um einen kleinen Datensatz handelt, kann die Begründung, dass diese Daten normal verteilt sind, nicht von diesen Daten selbst stammen: Es gibt einfach nicht genug Strom. Die Bemerkung zu anderen Forschungsergebnissen, Replikationen oder sogar zur Biologie oder Wissenschaft des Messprozesses ist meines Erachtens ein viel gerechtfertigterer Ansatz zur Erörterung eines möglichen Wahrscheinlichkeitsmodells, das den beobachteten Daten zugrunde liegt.

Aus diesem Grund geht die Entscheidung für einen rangbasierten Test völlig daneben. Ich stimme jedoch zu, dass die Verwendung robuster Varianzschätzer wie Jackknife oder Bootstrap wichtige Berechnungsalternativen darstellen, die die Durchführung von Tests bei einer Vielzahl wichtigerer Verstöße gegen die Modellspezifikation ermöglichen, wie z. B. Unabhängigkeit oder identische Verteilung dieser Fehler.

Früher dachte ich , dass Normalitätstests völlig nutzlos waren.

Jetzt berate ich jedoch andere Forscher. Die Beschaffung von Stichproben ist oft sehr teuer, weshalb sie beispielsweise auf n = 8 schließen möchten.

In einem solchen Fall ist es sehr schwierig, bei nichtparametrischen Tests eine statistische Signifikanz zu finden, aber t-Tests mit n = 8 reagieren empfindlich auf Abweichungen von der Normalität. Was wir also bekommen, ist, dass wir sagen können: "Nun, unter der Voraussetzung der Normalität finden wir einen statistisch signifikanten Unterschied" (keine Sorge, dies sind normalerweise Pilotstudien ...).

Dann brauchen wir eine Möglichkeit, diese Annahme zu bewerten. Ich bin auf halbem Weg im Lager, dass das Anschauen von Grundstücken ein besserer Weg ist, aber um ehrlich zu sein, kann es viel Uneinigkeit darüber geben, was sehr problematisch sein kann, wenn einer der Leute, die mit Ihnen nicht einverstanden sind, der ist Gutachter Ihres Manuskripts.

In vielerlei Hinsicht glaube ich immer noch, dass Normalitätstests viele Mängel aufweisen: Zum Beispiel sollten wir uns mehr Gedanken über den Typ-II-Fehler als über den Typ-I-Fehler machen. Aber es besteht Bedarf dafür.

Für das, was es wert ist, habe ich einmal einen schnellen Sampler für die abgeschnittene Normalverteilung entwickelt, und das Testen der Normalität (KS) war beim Debuggen der Funktion sehr nützlich. Dieser Sampler besteht den Test mit riesigen Stichproben, aber interessanterweise hat der Zikkurat-Sampler der GSL dies nicht getan.

Das Argument, das Sie gaben, ist eine Meinung. Ich denke, dass es wichtig ist, Normalitätstests durchzuführen, um sicherzustellen, dass die Daten nicht stark vom Normalen abweichen. Ich verwende es manchmal, um zu entscheiden, ob ich für mein Inferenzverfahren einen parametrischen oder einen nichtparametrischen Test verwende. Ich denke, der Test kann in moderaten und großen Samples nützlich sein (wenn der zentrale Grenzwertsatz nicht ins Spiel kommt). Ich neige dazu, Wilk-Shapiro- oder Anderson-Darling-Tests zu verwenden, aber mit SAS bekomme ich sie alle und sie stimmen im Allgemeinen ziemlich gut überein. In einem anderen Sinne denke ich, dass grafische Verfahren wie QQ-Diagramme genauso gut funktionieren. Ein formaler Test hat den Vorteil, dass er objektiv ist. Bei kleinen Stichproben ist es richtig, dass diese Anpassungsgütetests praktisch keine Aussagekraft haben, und dies ist intuitiv sinnvoll, da eine kleine Stichprobe aus einer Normalverteilung zufällig eher nicht normal aussieht und dies im Test berücksichtigt wird. Auch eine hohe Schiefe und Kurtosis, die viele nicht normale Verteilungen von normalen Verteilungen unterscheidet, sind in kleinen Proben nicht leicht zu sehen.

Ich denke, ein Maximum-Entropie-Ansatz könnte hier nützlich sein. Wir können eine Normalverteilung zuweisen, weil wir glauben, dass die Daten "normal verteilt" sind (was auch immer das bedeutet) oder weil wir nur Abweichungen von ungefähr derselben Größe erwarten. Da die Normalverteilung nur über zwei ausreichende Statistiken verfügt, ist sie auch unempfindlich gegenüber Änderungen in den Daten, die diese Größen nicht verändern. In gewissem Sinne kann man sich eine Normalverteilung als "Durchschnitt" über alle möglichen Verteilungen mit demselben ersten und zweiten Moment vorstellen. Dies ist einer der Gründe, warum die kleinsten Quadrate genauso gut funktionieren sollten wie sie.

Ich würde nicht sagen, dass es nutzlos ist, aber es hängt wirklich von der Anwendung ab. Beachten Sie, dass Sie nie wirklich wissen, von welcher Distribution die Daten stammen, und dass Sie nur einen kleinen Teil der Erkenntnisse haben. Ihr Stichprobenmittelwert ist in der Stichprobe immer endlich, aber der Mittelwert kann für einige Arten von Wahrscheinlichkeitsdichtefunktionen undefiniert oder unendlich sein. Betrachten wir die drei Arten von Levy-Stable-Verteilungen: Normalverteilung, Levy-Verteilung und Cauchy-Verteilung. Die meisten Ihrer Proben haben nicht viele Beobachtungen am Schwanz (dh außerhalb des Probenmittelwerts). Empirisch ist es also sehr schwer, zwischen den drei zu unterscheiden, so dass sich der Cauchy (undefinierter Mittelwert) und der Levy (unendlicher Mittelwert) leicht als Normalverteilung tarnen könnten.

Ich glaube, die ersten beiden Fragen wurden gründlich beantwortet, aber ich glaube nicht, dass Frage 3 angesprochen wurde. Viele Tests vergleichen die empirische Verteilung mit einer bekannten hypothetischen Verteilung. Der kritische Wert für den Kolmogorov-Smirnov-Test basiert darauf, dass F vollständig spezifiziert ist. Es kann modifiziert werden, um anhand einer Parameterverteilung mit geschätzten Parametern zu testen. Wenn also unschärfer bedeutet, mehr als zwei Parameter zu schätzen, lautet die Antwort auf die Frage ja. Diese Tests können auf 3 oder mehr Parameterfamilien angewendet werden. Einige Tests sind für eine bessere Leistung ausgelegt, wenn sie mit einer bestimmten Verteilungsfamilie getestet werden. Beispielsweise haben beim Testen der Normalität der Anderson-Darling- oder der Shapiro-Wilk-Test eine größere Leistung als KS oder das Chi-Quadrat, wenn die hypothetische Nullverteilung normal ist.

Tests, bei denen "etwas", das für die Analyse wichtig ist, durch hohe p-Werte gestützt wird, sind meines Erachtens falsch. Wie andere betonten, ist für große Datensätze ein p-Wert unter 0,05 gewährleistet. Der Test "belohnt" also im Wesentlichen kleine und unscharfe Datensätze und "belohnt" mangels Beweisen. So etwas wie qq-Diagramme sind viel nützlicher. Der Wunsch nach harten Zahlen, um solche Dinge immer zu entscheiden (ja / nein normal / nicht normal), lässt vermissen, dass das Modellieren teilweise eine Kunst ist und wie Hypothesen tatsächlich unterstützt werden.

Eine gute Anwendung des Normalitätstests, die meines Erachtens nicht erwähnt wurde, ist die Feststellung, ob die Verwendung von Z-Scores in Ordnung ist. Angenommen, Sie haben eine Zufallsstichprobe aus einer Population ausgewählt, und Sie möchten die Wahrscheinlichkeit ermitteln, mit der Sie eine zufällige Person aus der Population auswählen und einen Wert von 80 oder höher erhalten. Dies ist nur möglich, wenn die Verteilung normal ist, da bei Verwendung von Z-Scores davon ausgegangen wird, dass die Populationsverteilung normal ist.

Aber dann sehe ich wohl auch, dass dies streitig ist ...