Benötigen wir einen globalen Test vor Post-Hoc-Tests?

Ich höre oft, dass Post-hoc-Tests nach einer ANOVA nur verwendet werden können, wenn die ANOVA selbst signifikant war.

• Bei Post-Hoc-Tests werden jedoch die Werte angepasst, um die globale Typ-I-Fehlerrate bei 5% zu halten, nicht wahr?$p$
• Warum brauchen wir also zuerst den globalen Test?

• Wenn wir keinen globalen Test benötigen, ist die Terminologie "post hoc" korrekt?

• Oder gibt es mehrere Arten von Post-hoc-Tests, von denen einige ein signifikantes globales Testergebnis voraussetzen und andere ohne diese Annahme?

Da mehrfache Vergleichstests oft als "Post-Tests" bezeichnet werden, würde man meinen, sie folgen logischerweise der Einweg-ANOVA. Tatsächlich ist das nicht so.

" Eine unglückliche gängige Praxis besteht darin, mehrere Vergleiche nur dann anzustellen, wenn die Rumpfhypothese der Homogenität verworfen wird. " ( Hsu, Seite 177 )

Werden die Ergebnisse der Nachuntersuchungen gültig sein, wenn der Gesamt-P-Wert für die ANOVA größer als 0,05 ist?

Überraschenderweise lautet die Antwort ja. Mit einer Ausnahme sind Nachuntersuchungen auch dann gültig, wenn die gesamte ANOVA keinen signifikanten Unterschied zwischen den Mitteln ergab.

Die Ausnahme ist der erste erfundene Mehrfachvergleichstest, der geschützte Fisher Least Significant Difference (LSD) -Test. Der erste Schritt des geschützten LSD-Tests besteht darin, zu überprüfen, ob die gesamte ANOVA die Nullhypothese identischer Mittelwerte ablehnt. Ist dies nicht der Fall, sollten keine Einzelvergleiche durchgeführt werden. Dieser geschützte LSD-Test ist jedoch veraltet und wird nicht mehr empfohlen.

Ist es möglich, ein "signifikantes" Ergebnis aus einem Test mit mehreren Vergleichen zu erhalten, auch wenn die gesamte ANOVA nicht signifikant war?

Ja, es ist möglich. Ausnahme ist der Scheffe-Test. Es ist mit dem gesamten F-Test verflochten. Wenn die Gesamt-ANOVA einen P-Wert von mehr als 0,05 hat, findet der Scheffe-Test keine signifikanten Nachprüfungen. In diesem Fall ist die Durchführung von Nachuntersuchungen nach einer insgesamt nicht signifikanten ANOVA eine Zeitverschwendung, führt jedoch nicht zu ungültigen Schlussfolgerungen. Andere mehrfache Vergleichstests können jedoch (manchmal) signifikante Unterschiede feststellen, selbst wenn die ANOVA insgesamt keine signifikanten Unterschiede zwischen den Gruppen zeigte.

Wie kann ich den offensichtlichen Widerspruch zwischen der Aussage einer ANOVA, dass alle Gruppenmittel identisch sind, und der Feststellung von Unterschieden nach dem Test verstehen?

Die allgemeine Einweg-ANOVA testet die Nullhypothese, dass alle Behandlungsgruppen identische Mittelwerte aufweisen, sodass jeder beobachtete Unterschied auf zufällige Stichproben zurückzuführen ist. Jeder Post-Test testet die Nullhypothese, dass zwei bestimmte Gruppen identische Mittelwerte haben.

Die Nachuntersuchungen sind fokussierter, sodass Unterschiede zwischen den Gruppen auch dann festgestellt werden können, wenn die ANOVA insgesamt angibt, dass die Unterschiede zwischen den Mitteln statistisch nicht signifikant sind.

Sind die Ergebnisse der gesamten ANOVA überhaupt nützlich?

ANOVA testet die allgemeine Nullhypothese, dass alle Daten aus Gruppen mit identischen Mitteln stammen. Wenn das Ihre experimentelle Frage ist - liefern die Daten überzeugende Beweise dafür, dass die Mittel nicht alle identisch sind -, dann ist ANOVA genau das, was Sie wollen. Häufiger werden Ihre experimentellen Fragen fokussierter und durch mehrere Vergleichstests (Post-Tests) beantwortet. In diesen Fällen können Sie die ANOVA-Gesamtergebnisse ignorieren und direkt zu den Ergebnissen nach dem Test springen.

Beachten Sie, dass alle Mehrfachvergleichsberechnungen das Mittelwert-Quadrat-Ergebnis aus der ANOVA-Tabelle verwenden. Selbst wenn Sie sich nicht für den Wert von F oder den P-Wert interessieren, müssen Sie für die Nachprüfungen dennoch die ANOVA-Tabelle berechnen.

(1) Post-hoc- Tests können die nominelle globale Fehlerrate Typ I erreichen oder nicht, abhängig davon, (a) ob der Analyst die Anzahl der Tests einstellt und (b) inwieweit die Post-hoc- Tests unabhängig von einer sind Ein weiterer. Die erstmalige Anwendung eines globalen Tests bietet einen soliden Schutz vor dem Risiko, dass (auch versehentlich) falsche "signifikante" Ergebnisse aus dem Nachhinein-Durchsuchen von Daten aufgedeckt werden.

(2) Es liegt ein Stromversorgungsproblem vor. Es ist allgemein bekannt, dass ein globaler ANOVA F-Test auch dann Mittelwertunterschiede erkennen kann, wenn kein einzelner t-Test eines der Mittelwertpaare ein signifikantes Ergebnis liefert. Mit anderen Worten, in einigen Fällen können die Daten Aufschluss darüber geben, dass sich die wahren Mittelwerte wahrscheinlich unterscheiden, sie können jedoch nicht mit ausreichender Sicherheit identifizieren, welche Mittelwertpaare sich unterscheiden.