Bonferroni oder Tukey? Wann wird die Anzahl der Vergleiche groß?

Lesen von Field's Discovering Statistics mit SPSS (3rd Edition) Ich war beeindruckt von den Post-Hoc-Tests in ANOVA. Für diejenigen, die die Fehlerrate des Typs I kontrollieren möchten, schlägt er Bonferroni oder Tukey vor und sagt (S. 374):

Bonferroni ist leistungsstärker, wenn die Anzahl der Vergleiche gering ist, während Tukey leistungsstärker ist, wenn eine große Anzahl von Mitteln getestet wird.

Wo soll die Grenze zwischen einer kleinen und einer großen Anzahl von Mitteln gezogen werden?

— Parbury
quelle

Am Ende der folgenden Webseite von NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm, wird empfohlen, beide Tests durchzuführen und das kleinere der beiden Intervalle durchzuführen. Ich habe ähnliche Kommentare in Johnson und Wichern zu MANOVA gefunden.

— schenectady

@schenectady Gute Antwort! Warum fügst du es nicht in eine Antwort ein? Übrigens ist der Link in Ihrem Kommentar beschädigt; Die richtige ist itl.nist.gov/div898/handbook/prc/section4/prc473.htm .

— whuber

Erster kurzer Punkt: Die Leistung hängt direkt mit der Fehlerrate des Typs II zusammen, nicht mit der des Typs I. Jetzt verzeihen Sie mir, aber ich werde einige Meinungen äußern. Könnte man das, was Sie tun, als "Gaming des Systems" bezeichnen und versuchen, es so zu manipulieren, dass mehr Ergebnisse als "Sig" klassifiziert werden. oder nichtsig.? Diese binären Urteile sind viel weniger informativ und möglicherweise viel irreführender als Berichte über tatsächliche Effektgrößen - in Ihrem Fall in Bezug auf Gruppenunterschiede bei den Mitteln. Ich mag es, wenn Leute p- Werte verwenden, um Ergebnisse zu sammeln, anstatt sie zu strukturieren. Ende der Redaktion - streiten Sie!

— Rolando2

"Am Ende der folgenden Webseite von NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm , wird empfohlen, beide Tests durchzuführen und das kleinere der beiden Intervalle durchzuführen Ich habe ähnliche Kommentare in Johnson und Wichern zu MANOVA gefunden. - @schenectady 11. April 11 um 12:31 "Dies wird als Data Mining angesehen und sollte nicht durchgeführt werden. Die Wahl von Tukey vs. Bonferroni sollte vor der Analyse getroffen werden.

Die Online-Dokumentation von Minitab bietet offenbar ähnliche Ratschläge. Support.minitab.com/en-us/minitab/17/topic-library/…

— N Brouwer

Neben dem nützlichen Link in den Kommentaren von @schenectady erwähnt.

Ich möchte auch den Punkt hinzufügen, dass die Bonferroni-Korrektur für eine breitere Klasse von Problemen gilt. Soweit mir bekannt ist, wird Tukeys HSD nur auf Situationen angewendet, in denen Sie alle möglichen paarweisen Vergleiche untersuchen möchten, während die Bonferroni-Korrektur auf jede Reihe von Hypothesentests angewendet werden kann.

Die Bonferroni-Korrektur ist insbesondere dann nützlich, wenn Sie eine kleine Anzahl geplanter Vergleiche haben und die familienbezogene Fehlerrate des Typs I steuern möchten. Dies ermöglicht auch Zusammensetzungsvergleiche. Beispiel: Sie haben eine 6-Wege-ANOVA und möchten den Durchschnitt der Gruppen 1, 2 und 3 mit der Gruppe 4 und die Gruppe 5 mit der Gruppe 6 vergleichen.

Zur weiteren Veranschaulichung können Sie die Bonferroni-Korrektur anwenden, um die Signifikanz von Korrelationen in einer Korrelationsmatrix oder die Menge von Haupt- und Interaktionseffekten in einer ANOVA zu bewerten. Eine solche Korrektur wird jedoch typischerweise nicht angewendet, vermutlich aus dem Grund, dass die Verringerung der Fehlerrate vom Typ I zu einer inakzeptablen Leistungsverringerung führt.

— Jeromy Anglim
quelle

Ich bin nur neugierig, wenn Sie folgende Zitate haben: "Eine solche Korrektur wird jedoch in der Regel nicht angewendet, vermutlich aus dem Grund, dass die Verringerung der Typ-I-Fehlerrate zu einer inakzeptablen Leistungsreduzierung führt." Danke vielmals!

Willkommen auf der Seite. Dies sollte als Kommentar gepostet werden, nicht als Antwort.

— Peter Flom - Wiedereinsetzung von Monica

@ Jessica. Nein, ich habe kein Zitat für diese Behauptung. Es ist jedoch recht einfach, die Faktoren, die die statistische Potenz beeinflussen (z. B. Alpha), durch Simulationen, Formeln oder auch nur Grundkenntnisse darzustellen.

— Jeromy Anglim