Warum sollten alle Normalitätstests die Nullhypothese ablehnen?

Der Kolgomorov-Smirnov-Test, der Shapiro-Test usw. lehnen alle die Hypothese ab, dass eine Verteilung normal ist. Wenn ich jedoch die normalen Quantile und das Histogramm zeichne, sind die Daten eindeutig normal. Vielleicht, weil die Leistung der Tests hoch ist?

Die Stichprobengröße liegt bei 650. Sollte also nicht mindestens einer dieser Tests die Nullhypothese nicht ablehnen?

Ergebnisse:

           Kolmogorov-Smirnov    D          0.05031          Pr > D       <0.010
           Cramer-von Mises      W-Sq       0.30003          Pr > W-Sq    <0.005
           Anderson-Darling      A-Sq       1.66965          Pr > A-Sq    <0.005
           Chi-Square            Chi-Sq  3250.43596     18   Pr > Chi-Sq  <0.001

Normalitätstests sind Zeitverschwendung und Ihr Beispiel zeigt, warum. Bei kleinen Stichproben hat der Normalitätstest eine geringe Leistung. Daher müssen Entscheidungen darüber, welche statistischen Modelle verwendet werden sollen, auf a priori Wissen basieren . In diesen Fällen beweist das Versäumnis, die Null abzulehnen, nicht, dass die Null auf Bevölkerungsebene sogar annähernd wahr ist.

Wenn Sie große Stichproben haben, werden Normalitätstests lächerlich leistungsfähig, aber sie sagen Ihnen nichts, was Sie noch nicht wussten. Keine reale Menge ist genau normal verteilt. Die Normalverteilung ist nur eine mathematische Abstraktion, die in vielen Fällen eine hinreichend gute Annäherung darstellt. Der einfachste Beweis dafür ist, dass es keine reale Menge gibt (zumindest keine, an die ich denken kann), die eine reale Zahl als Wert annehmen könnte . Zum Beispiel gibt es im Universum nur so viele Moleküle. Es gibt nur so viele Dollar in der Geldmenge. Die Lichtgeschwindigkeit ist endlich. Computer können nur Zahlen endlicher Größe speichern. Selbst wenn etwas alle reellen Zahlen unterstützen würde, könnten Sie es nicht messen.

Der Punkt ist, dass Sie bereits wussten, dass Ihre Daten nicht genau normal verteilt sind, aber die Normalitätstests sagen nichts darüber aus, wie nicht normal die Daten sind. Sie geben Ihnen absolut keinen Hinweis darauf, ob Ihre Daten ungefähr normal verteilt sind, sodass statistische Inferenzmethoden, die Normalität voraussetzen, korrekte Antworten liefern würden. Ironischerweise sind gängige Tests (z. B. T-Test und ANOVA), bei denen Normalität angenommen wird, bei großen Stichprobengrößen robuster als Nicht-Normalität.

Das überrascht mich nicht - bei einer ausreichend großen Stichprobengröße sollte jeder gute Test die Nullhypothese ablehnen, es sei denn, die Verteilung der Datenerzeugung ist wirklich (und genau) normal.

Beim Testen von Hypothesen ist man normalerweise daran interessiert, einen "leistungsfähigen" Test zu finden, bei dem sehr kleine Abweichungen von der Nullhypothese mit möglichst wenigen Daten festgestellt werden können.

Versuchen Sie, den Test mit einer Teilstichprobe der Größe 20, 50, 100, 200 auszuführen, und prüfen Sie, ab welcher Größe die Tests abgelehnt werden. Es ist leicht zu erkennen, ob ein Histogramm symmetrisch und im Allgemeinen glockenförmig ist, aber die Schwänze der Verteilung sind mit dem Auge schwerer zu beurteilen. Vielleicht gibt es Ausreißer in den Daten, die dazu führen, dass die Tests abgelehnt werden? Wenn ja, sehen Sie, was passiert, wenn Sie sie herausschneiden.

Die wahrscheinliche Ursache ist, dass Ihre Daten leicht nicht normal sind und Ihre Stichprobengröße groß genug ist, um dies aufzudecken.

Wenn die Verteilung wirklich normal ist, sollte sie normalerweise diese Tests bestehen, wie im folgenden R-Beispiel, in dem alle Tests bis auf einen bestanden werden.

> require(nortest)
> 
> set.seed(1)
> dat <- rnorm(650,mean=100, sd=5)
> 
> ad.test(dat)

        Anderson-Darling normality test

data:  dat 
A = 0.439, p-value = 0.2924

> cvm.test(dat)

        Cramer-von Mises normality test

data:  dat 
W = 0.0882, p-value = 0.1619

> lillie.test(dat)

        Lilliefors (Kolmogorov-Smirnov) normality test

data:  dat 
D = 0.0334, p-value = 0.08196

> pearson.test(dat)

        Pearson chi-square normality test

data:  dat 
P = 37.96, p-value = 0.035

> sf.test(dat)

        Shapiro-Francia normality test

data:  dat 
W = 0.9978, p-value = 0.5186

> shapiro.test(dat)

        Shapiro-Wilk normality test

data:  dat 
W = 0.9981, p-value = 0.675

Möglicherweise möchten Sie ein qqplot erstellen. Wenn dies nahe genug an einer geraden Linie liegt, können Sie es für Ihre Zwecke als nahe genug an der Normalität behandeln. Es kommt vielmehr darauf an, was diese Zwecke sind.

Lassen Sie mich der Antwort von dsimcha nicht zustimmen: "Normalitätstests sind Zeitverschwendung, und Ihr Beispiel zeigt, warum." Normalitätstests sind nie Zeitverschwendung, Sie können immer aus Ihren Daten lernen. Darüber hinaus müssen Sie einige Bedingungen testen, bevor Sie eine Analyse durchführen (z. B. ANOVA, Regression usw.). Relativ große Stichprobengrößen sollten besser mit einem Plot (QQplot, Histogramm) getestet werden. In solchen Fällen liefert die Visualisierung viel mehr Informationen über multimodales Verhalten und so weiter.

ANOVA und Regression sind robust gegenüber Nicht-Normalität, wenn große Stichprobengrößen behandelt werden. Der Hauptdatentyp, der Probleme verursacht, sind jedoch multimodale Datenstichproben.

Bei kleinen Stichproben ist der Kolgomorov-Smirnov-Test vor allem aufgrund seiner Empfindlichkeit die beste Option.

Ich werde den anderen bisher veröffentlichten Antworten leicht widersprechen: Diese Normalitätstests haben notorisch wenig Leistung, selbst bei relativ großen Stichproben, zumindest für bestimmte Arten von Abweichungen.

Hier ist ein kurzes Beispiel. Ich habe eine Mischung aus zwei Normalen erzeugt, deren Mittelwerte durch eine ganze SD getrennt sind.

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(c(rnorm(325, mean = 0), rnorm(325, mean = 1)))$p.value
)
mean(reps < .05)
[1] 0.0525

Wenn man bedenkt, dass es in 5% der Fälle Abweichungen von der Normalität "erkennt", selbst wenn es wirklich normal wäre, ist das nicht sehr beeindruckend.

Hier ist ein weiteres Beispiel: Ich füge ein gleichmäßiges Rauschen über einen Bereich von der Größe von zwei Standardabweichungen hinzu. Dieser ist sichtlich nicht normal.

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(rnorm(650) + 2 * runif(650))$p.value
)
mean(reps < .05)
[1] 0.0523

Wieder extrem niedrige Leistung für eine ziemlich große Abweichung von der Normalität.

Sind Sie sicher, dass Sie den qqplot richtig lesen? Könnten Sie es hochladen, damit wir es sehen können?

Bearbeiten auf der anderen Seite, ist Regression ziemlich robust zu Nicht-Normalität, so dass ich zustimmen würde , dass die visuelle Inspektion wahrscheinlich genug für die meisten Zwecke sein soll.