ANOVA: Test der Normalitätsannahme für viele Gruppen mit wenigen Stichproben pro Gruppe

Nehmen Sie die folgende Situation an:

Wir haben eine große Anzahl (zB 20) mit kleinen Gruppen (zB n = 3). Mir ist aufgefallen, dass, wenn ich Werte aus der gleichmäßigen Verteilung erzeuge, die Residuen ungefähr normal aussehen, obwohl die Fehlerverteilung gleichmäßig ist. Der folgende R-Code demonstriert dieses Verhalten:

n.group = 200
n.per.group = 3

x <- runif(n.group * n.per.group)
gr <- as.factor(rep(1:n.group, each = n.per.group))
means <- tapply(x, gr, mean)
x.res <- x - means[gr]
hist(x.res)

Wenn ich den Rest einer Stichprobe in einer Dreiergruppe betrachte, ist der Grund für das Verhalten klar:

$r_1 = x_1 - \text{mean}(x1, x2, x3) = x1 - \frac{x_1+x_2+x_3}{3}=\frac{2}{3}x_1 - x_2 - x_3.$

Bildbeschreibung hier eingeben

Da eine Summe von Zufallsvariablen mit einer nicht grob unterschiedlichen Standardabweichung ist, ist seine Verteilung der Normalverteilung ein gutes Stück näher als die der einzelnen Terme. $r_1$

Angenommen, ich habe die gleiche Situation mit realen Daten anstelle von simulierten Daten. Ich möchte einschätzen, ob die ANOVA-Annahmen zur Normalität zutreffen. Die meisten empfohlenen Verfahren empfehlen eine Sichtprüfung der Residuen (z. B. QQ-Plot) oder einen Normalitätstest der Residuen. Wie mein Beispiel oben zeigt, ist dies für kleine Gruppen nicht optimal.

Gibt es eine bessere Alternative, wenn ich viele kleine Gruppen habe?

anova normal-distribution small-sample

— Erik
quelle

Aus mehreren Gründen scheint dies kein Problem zu sein. Zunächst werden Ihre Residuen einheitlich angezeigt: Sehen Sie sich ein Histogramm für eine große Anzahl von Gruppen an, um dies zu sehen. Zweitens ist die Normalität der Residuen für die meisten Analysen von geringer Bedeutung. Entscheidend ist die ungefähre Normalität der Stichprobenverteilungen. Welcher spezielle Aspekt Ihrer Anwendung lässt Sie also vermuten, dass es ein echtes Problem gibt?

— whuber

a) Meine Reste erscheinen nicht einheitlich. Ich habe dies für eine Reihe von Gruppen (nicht Stichproben pro Gruppe) von 20 bis 20000 getestet. Ich habe der Frage ein Beispiel beigefügt. Es scheint ein Etwas zwischen Uniform und Normal zu sein, mit einem deutlichen Trend zum Normalen. b) Ich weiß, dass es um die ungefähre Normalität der Stichprobenverteilung geht. Dies ist der springende Punkt der Frage, da die Residuen normal aussehen, die Stichprobenverteilung jedoch nicht. Daher kann ich die Residuen nicht zum Testen der Eigenschaften der Stichprobenverteilung verwenden.

— Erik

Das ist richtig. Aber sind Sie wirklich an der Verteilung der Fehler interessiert oder möchten Sie eine ANOVA durchführen? (Ich versuche nicht zu implizieren, dass die Frage ignoriert werden sollte - es ist ein faszinierendes Thema, das Sie angesprochen haben -, aber ich frage mich nur, ob Sie wirklich eine Antwort benötigen, um mit Ihrer Datenanalyse fortzufahren.)

— whuber

Mit den gleichen Simulationen können Sie jedoch die Robustheit der ANOVA in Ihrem Fall untersuchen!

— kjetil b halvorsen

Ein leicht tangentialer, aber relevanter Kommentar: Im Allgemeinen führt die Verwendung eines Normalitätstests (oder einer anderen Modellannahme) vor der Durchführung eines Hypothesentests zu (mindestens) drei Problemen: 1) Wenn Sie dies tun, müssen Sie mehrere Tests berücksichtigen. 2) Wenn Sie die alternative Hypothese ablehnen, z. B. "nicht normal", bedeutet dies nicht, dass Sie auf Normalität schließen können. 3) Tests für Modellannahmen haben ihre eigenen Modellannahmen. Wo hören Sie also auf?

— Martha

$a<b$ $\frac{a+b}2{}$ $\sigma$ $(a,b)$ $\sigma<a$ $\sigma>b$ $\text{SD}<\sigma$ $n>100$

Anstatt unsere Hände frustriert zu erheben, können wir jetzt unter normalen Bedingungen die Korrektur kleiner Zahlen für unsere SDs anwenden. (Ha! Es gibt eine Lösung für unser Elend.)

$\frac{SD(n)}{\mu(n)}\,=\,\sqrt{\frac{2}{n-1}}\,\,\,\frac{\Gamma\left(\frac{n}{2}\right)}{\Gamma\left(\frac{n-1}{2}\right)} \, = \, 1 - \frac{1}{4n} - \frac{7}{32n^2} - \frac{19}{128n^3} + O(n^{-4})$ sehen $E[\mu]$

Zum $n=3$ , das ist $\Gamma(\frac{3}{2})=\frac{\sqrt{\pi }}{2}\approx0.8862269255$ . Das bedeutet, dass wir unsere SD durch so viel teilen müssen, um abzuschätzen $\sigma$ .

In dem Fall, dass Sie präsentieren, sind noch einige andere Dinge im Gange. Das beste Maß für die Position einer gleichmäßigen Verteilung ist jedoch nicht der Mittelwert. Obwohl sowohl der Stichprobenmittelwert als auch der Stichprobenmedian unverzerrte Schätzer des Mittelpunkts sind, ist keiner so effizient wie der Stichprobenmittelwert, dh das arithmetische Mittel des Stichprobenmaximums und des Stichprobenminimums, das die unverzerrte Schätzer- UMVU mit minimaler Varianz ist Schätzer des Mittelpunkts (und auch der maximalen Wahrscheinlichkeitsschätzung).

Nun zum Fleisch der Sache. Wenn Sie den Durchschnitt der Extremwerte verwenden, ist die Varianz des Positionsmaßes geringer, sofern Ihre Daten wirklich gleichmäßig verteilt sind. Es kann normalverteilt sein, da ein einzelner Extremwertschwanz durchaus normal sein kann. Bei nur 3 Abtastwerten muss die Standardabweichung jedoch korrigiert werden.

— Carl
quelle