Was könnte eine klare, praktische Definition für eine „Familie von Hypothesen“ sein (in Bezug auf die familienbezogene Fehlerrate)?

Bei dem Versuch zu bewerten, was eine Hypothesenfamilie innerhalb eines Experiments / Projekts / einer Analyse ausmacht, habe ich festgestellt, dass "ähnliche Ziele" und "ähnliche Inhalte" als Richtlinien für die Abgrenzung von Familien angegeben sind, aber diese lassen ziemlich viel Interpretationsspielraum ( um es vorsichtig auszudrücken).

Es scheint klar zu sein, dass ich, wenn ich im Verlauf einer Analyse mehrere Tests der Gruppenmittelwerte und eine separate Reihe von Tests der Homogenität der Proportionen durchführe, nicht alles zu einer einzigen Familie von Hypothesen zusammenfassen würde.

Wenn ich jedoch mehrere Chargen von etwas verwandten Tests von Gruppenmitteln habe, welches Kriterium bringt sie zu einer Familie zusammen (oder teilt sie in separate Familien auf)? Sollten alle Familienmitglieder dieselbe Antwortvariable haben? Wenn ich unterschiedliche Antwortvariablen hätte, aber die gleichen Fälle, würden diese alle zu einer Familie von Hypothesen gebündelt?

Das Problem der Mehrfachvergleiche ist ein wirklich großes Thema. Es gab viele Meinungen und viele Meinungsverschiedenheiten. Dies ist auf viele Dinge zurückzuführen; Dies liegt unter anderem daran, dass das Thema wirklich wichtig ist, und teilweise daran, dass es wirklich keine endgültige Regel oder ein endgültiges Kriterium gibt. Nehmen Sie einen prototypischen Fall: Sie führen ein Experiment mit Behandlungen durch und erhalten eine signifikante ANOVA. Jetzt fragen Sie sich, welche Behandlungsmittel unterschiedlich sind. Wie sollten Sie vorgehen und t-Tests durchführen? Obwohl diese Tests einzeln bei 0,05 halten würden , explodiert das 'familienweise' (dh die Wahrscheinlichkeit, dass mindestens 1 Fehler vom Typ I auftritt). Tatsächlich beträgt die familienweise Fehlerratek ( k - 1 ) / 2 α α 1 - ( 1 - α ) k α $k$$k(k-1)/2$$\alpha$$\alpha$$1-(1-\alpha)^k$. Die Frage ist, was definiert eine "Familie"? Und es gibt keine endgültige Antwort, abgesehen von der trivialen, dass eine „Familie“ eine Reihe von Kontrasten ist. Ob bestimmte Kontraste als Familie betrachtet werden sollten, ist eine subjektive Entscheidung. Die 3., 17. und 42. Analyse, die ich jemals in meinem Leben durchgeführt habe, sind eine Reihe von Kontrasten, und ich hätte meine Schwelle anpassen können, um sicherzustellen, dass die Wahrscheinlichkeit von Typ-I-Fehlern unter ihnen bei 5% lag, aber niemand würde das sinnlich finden. Die Frage für Sie ist, ob Sie Ihre Kontraste als eine Menge in einem sinnvollen Sinne betrachten, und nur Sie können dieses Urteil fällen. Ich werde einige Standardansätze anbieten. Viele Analysten glauben, dass eine Reihe von Kontrasten, die aus demselben Experiment / Datensatz stammen, als Familie behandelt werden sollten.$\alpha$$\alpha$ Anpassung) sind erforderlich. Andere glauben, dass selbst wenn Kontraste aus demselben Experiment stammen, wenn sie a priori und orthogonal sind, keine speziellen Verfahren erforderlich sind. Beide Positionen können verteidigt werden. Beachten Sie schließlich auch, dass Verfahren zur Kontrolle familienbezogener Fehlerraten mit Kosten verbunden sind. erhöhte Typ-II-Fehlerraten.

Das Kriterium ist, dass die Hypothesen in dem Sinne voneinander abhängig sind, dass, wenn eine von ihnen bricht, das Ganze Ihre Schlussfolgerung oder Theorie bricht. Daher benötigen Sie die Garantie, dass, wenn alle Tests signifikant sind, keiner von ihnen falsch signifikant ist.

Eine Diskussion über researchgate ( http://www.researchgate.net/post/Bonferroni-how_is_the_family_of_hypotheses_defined ) lieferte eine Liste von Artikeln, die beim Sammeln von Meinungen hilfreich sein könnten - die Artikel beginnen tatsächlich mit der Frage, wann Korrekturen in einer Situation mit mehreren Tests angewendet werden müssen ". Die Papiere - alle oft zitiert - sind:

1) Rothman KJ. Für mehrere Vergleiche sind keine Anpassungen erforderlich. Epidemiology.1990; 1 (1): 43-6. http://psg-mac43.ucsf.edu/ticr/syllabus/courses/9/2003/02/27/Lecture/readings/Rothman.pdf

2) Perneger TV. Was ist los mit Bonferroni-Anpassungen? BMJ. 1998; 316 (7139): 1236 & ndash; 8. http://static.sdu.dk/mediafiles/D/1/F/%7BD1F06030-8FA7-4EE2-BB7D-60D683B18EAA%7DWhat_s-wrong%20_with_Bonferroni_adjustments.BMJ.1998.pdf

3) Bender R, Lange S. Anpassung für mehrere Tests - wann und wie? J Clin Epidemiol. 2001; 54: 343 & ndash; 9. http://www.rbsd.de/PDF/multiple.pdf

Zusammenfassung:

1) und 2) konzentrieren sich auf "alle Nullhypothesen sind wahr", die als allgemeine Nullhypothese bezeichnet wird. Es kann besser abgelehnt werden (dh keine Alpha-Kumulierung), wenn Anpassungen für mehrere Vergleiche angewendet werden. Sowohl 1) als auch 2) widersprechen jedoch, dass die allgemeine Nullhypothese im wissenschaftlichen Forschungsprozess selten vollständig verwendet wird - daher gilt das Kriterium "Ganztheorie bricht" nicht automatisch, wenn eine / einige der Nullhypothesen in den eigenen Daten enthalten sind Analysen werden zufällig abgelehnt. 1) fügt hinzu, dass es naiv ist, an einzelne Nullhypothesen zu denken, die (fälschlicherweise) abgelehnt wurden und von der wissenschaftlichen Gemeinschaft nie wieder aufgegriffen werden.

3) besagt, dass, sobald einzelne Hypothesen in einem Argument schmelzen, die Anpassungen vorgenommen werden müssen.

Aus meiner Sicht 1), 2), 3) nur zusammen spiegeln, wie sorgfältig wir das Kriterium "ganze Theorie bricht" müssen. Weder gibt es eine Möglichkeit, alle Nullhypothesen in eine große Wurst zu setzen, noch eine Möglichkeit, sich auf die Scheiben der Wurst zu verlassen, die als viele einzelne Hypothesen dargestellt werden. Hier trifft empirische Arbeit wirklich auf die Arbeit mit der Theorie aus dem Forschungsbereich.