Was ist falsch an der Korrektur mehrerer Tests im Vergleich zu gemeinsamen Tests?

Ich frage mich, warum gesagt wird, dass mehrere Testkorrekturen "willkürlich" sind und dass sie auf einer inkohärenten Philosophie beruhen, die

Die Richtigkeit einer Aussage hängt davon ab, welche anderen Hypothesen unterhalten werden

siehe zB Antworten und Kommentare zu Was stimmt nicht mit Bonferroni-Anpassungen? und insbesondere die Diskussion zwischen @FrankHarrell und @Bonferroni.

Nehmen wir (zur Vereinfachung und zur Vereinfachung der Darstellung) an, dass wir zwei (unabhängige) normale Populationen haben, unabhängig und mit bekannten Standardabweichungen, aber unbekannten Mitteln. Nehmen wir (nur als Beispiel) an, dass diese Standardabweichungen resp.$\sigma_1=2, \sigma_2=3$.

Gemeinsamer Test

Angenommen, wir möchten die Hypothese testen $H_0: \mu_1 = 2 \& \mu_2=2$gegen mit einem Signifikanzniveau von (das Symbol bedeutet 'und' während$H_1: \mu_1 \ne 2 | \mu_2 \ne 2$$\alpha=0.05$$\&$$|$ bedeutet 'oder').

Wir haben auch ein zufälliges Ergebnis aus der ersten Population und$x_1$$x_2$ aus der zweiten Population.

wenn$H_0$ wahr ist, dann ist die erste Zufallsvariable$X_1 \sim N(\mu_1=2,\sigma_1=2)$ und die zweite$X_2 \sim N(\mu_2=2,\sigma_2=3)$ Da wir von Unabhängigkeit ausgegangen sind, gilt die Zufallsvariable $X^2 = \frac{(X_1-\mu_1)^2}{\sigma_1^2} + \frac{(X_2-\mu_2)^2}{\sigma_2^2}$ ist $\chi^2$ mit $df=2$. Wir können das nutzen$X^2$ als Teststatistik und wir werden akzeptieren $H_0$ wenn für die beobachteten Ergebnisse $x_1$ und $x_2$ es hält das $\frac{(x_1-\mu_1)^2}{\sigma_1^2} + \frac{(x_2-\mu_2)^2}{\sigma_2^2} \le \chi^2_\alpha$. Mit anderen Worten ist der Akzeptanzbereich für diesen Test eine Ellipse, die auf zentriert ist$(\mu_1, \mu_2)$ und wir haben eine Dichtemasse von $1-\alpha$ Oben auf dieser Ellipse.

Mehrere Tests

Bei mehreren Tests führen wir zwei unabhängige Tests durch und passen das Signifikanzniveau an. Wir werden also zwei unabhängige Tests durchführen$H_0^{(1)}: \mu_1 = 2$ gegen $H_1^{(1)}: \mu_1 \ne 2$ und ein zweiter Test $H_0^{(2)}: \mu_2 = 2$ gegen $H_1^{(2)}: \mu_2 \ne 2$ aber mit einem angepassten Signifikanzniveau $\alpha^{adj.}$ das ist so, dass $1-(1-\alpha^{adj.})^2=0.05$ oder $(1-\alpha^{adj.})^2=0.95$ oder $1-\alpha^{adj.}=\sqrt{0.95}$ oder $\alpha^{adj.}=1-\sqrt{0.95}$ was ergibt $\alpha^{adj.}=0.02532057$.

In diesem Fall akzeptieren wir $H_0^{(1)}$ und $H_0^{(1)}$ (und beide zusammen entsprechen unserem '' Original '' $H_0: \mu_1 = 2 \& \mu_2=2$) wann immer $\frac{x_1 - \mu_1}{\sigma_1} \le z_{\alpha^{adj.}}$ und $\frac{x_2 - \mu_2}{\sigma_2} \le z_{\alpha^{adj.}}$

Wir schließen daraus, dass bei mehreren Tests der Akzeptanzbereich für $x_1,x_2$ ist ein Rechteck mit Zentrum geworden $(\mu_1,\mu_2)$ und mit einer Wahrscheinlichkeitsmasse von $1-\alpha$ oben drauf.

Fazit

Also finden wir das für einen Joint ($\chi^2$) Testen Sie die geometrische Form des Akzeptanzbereichs ist eine Ellipse, während es sich bei mehreren Tests um ein Rechteck handelt. Die Dichtemasse oben auf dem Akzeptanzbereich beträgt in beiden Fällen 0,95.

Fragen

Was ist dann das Problem bei mehreren Tests? Wenn es ein solches Problem gibt, sollte (siehe oben) das gleiche Problem für gemeinsame Tests bestehen oder nicht? Der Grund kann nicht sein, dass wir Ellipsen gegenüber Rechtecken bevorzugen, oder?

Ich denke, Sie vermissen @ FrankHarrells Punkt hier (ich habe derzeit keinen Zugriff auf das Perneger-Papier, das im verlinkten Thread besprochen wurde, kann es also nicht kommentieren).

In der Debatte geht es nicht um Mathematik, sondern um Philosophie. Alles, was Sie hier geschrieben haben, ist mathematisch korrekt, und die Bonferroni-Korrektur ermöglicht eindeutig die Kontrolle der familienweisen Fehlerrate vom Typ I, wie dies auch bei Ihrem "gemeinsamen Test" der Fall ist. In der Debatte geht es überhaupt nicht um die Besonderheiten von Bonferroni selbst, sondern um mehrere Testanpassungen im Allgemeinen.

Jeder kennt ein Argument für mehrere Testkorrekturen, wie der berühmte XKCD- Jelly-Beans-Comic zeigt :

Hier ist ein Gegenargument: Wenn ich eine wirklich überzeugende Theorie entwickeln würde, die vorhersagt, dass speziell grüne Gummibärchen Akne verursachen sollten; und wenn ich experimentierte, um es zu testen und nett und klar wurde$p=0.003$;; und wenn es so kam, dass ein anderer Doktorand im selben Labor aus irgendeinem Grund neunzehn Tests für alle anderen Gummibärchenfarben durchführte$p>05$jedes Mal; und wenn jetzt unser Berater all das in einem einzigen Papier zusammenfassen möchte; - dann wäre ich total dagegen, meinen p-Wert von "anzupassen"$p=0.003$ zu $p=0.003\cdot 20 = 0.06$.

Beachten Sie, dass die experimentellen Daten im Argument und im Gegenargument möglicherweise genau gleich sind. Die Interpretation ist jedoch unterschiedlich. Dies ist in Ordnung, zeigt jedoch, dass man nicht verpflichtet sein sollte, in allen Situationen mehrere Testkorrekturen vorzunehmen . Es ist letztendlich eine Frage des Urteils. Entscheidend ist, dass reale Szenarien normalerweise nicht so eindeutig sind wie hier und zwischen # 1 und # 2 liegen. Siehe auch Franks Beispiel in seiner Antwort .

@amoeba: Am Beispiel mit den Gummibärchen möchte ich wie folgt argumentieren (Anmerkung, ich möchte nur verstehen):

Nehmen wir an, es gibt 20 verschiedene Farben von Gummibärchen, nennen wir diese $c_1, c_2, \dots , c_{20}$, und lass $c_{10}$ sei die Farbe 'grün'.

Also, mit Ihrem Beispiel die p-Werte für Farbe $i$ (Wir notieren dies als $p^{(i)}$) wird sein $p^{(i)} > 0.05$ wann $i \ne 10$ und $p^{(10)}=0.003$.

1. Theorie 1: Grüne Gummibärchen verursachen Akne

   Wenn Sie eine Theorie entwickelt haben, dass grüne Gummibärchen Akne verursachen, sollten Sie die Hypothese testen

   $H_0$: '' Gummibärchen der Farbe $c_{10}$ haben keine Wirkung auf Akne '' versus $H_1$: '' Gummibärchen der Farbe $c_{10}$Akne verursachen ''. Dies ist offensichtlich kein Problem mit mehreren Tests, sodass Sie die p-Werte nicht anpassen müssen.

2. Theorie 2: Nur grüne Gummibärchen verursachen Akne

   In diesem Fall sollten Sie '' haben$H_1$: Grüne Gummibärchen verursachen Akne UND Gummibärchen von Farbe $c_i, i\ne 10$ verursachen keine Akne '' und $H_0$ ist dann '' grüne Gummibärchen verursachen keine Akne ODER $\exists i|i \ne 10$ so dass Bohnen der Farbe $c_i$ Akne verursachen ''.

   Dies ist ein Problem mit mehreren Tests und erfordert angepasste p-Werte.

3. Theorie 3: Gummibärchen (welcher Farbe auch immer) verursachen Akne

   In diesem Fall $H_1$: '' Gummibärchen der Farbe $c_1$ verursachen Akne und Gummibärchen Farbe $c_2$ verursachen Akne UND ... UND '' Gummibärchen der Farbe $c_{20}$ verursachen Akne '' und $H_0$ ist das Gegenteil.

   Dies ist wieder ein Problem mit mehreren Tests.

4. Theorie ...

Fazit

Wie auch immer, es ist ersichtlich, dass diese Theorien grundlegend unterschiedlich sind und ob eine Anpassung des p-Werts erforderlich ist oder nicht, hängt davon ab , nicht von der Philosophie , zumindest ist dies mein Verständnis.

PS für die Reaktion auf das Beispiel von @FrankHarrell siehe '' BEARBEITEN '' am Ende meiner Antwort auf Was ist los mit Bonferroni-Anpassungen?

Ich werde meine alte Antwort am Ende hinterlassen, um den Kontext für Ihren Kommentar bereitzustellen.

Es scheint mir, dass Ihr Gedankenexperiment zwischen Rechteck und Ellipsoid einen interessanten Hinweis auf ein Problem mit mehreren Vergleichen gibt: Ihr Beispiel mit mehreren Tests projiziert in gewissem Sinne Informationen in der Dimensionalität, sichert sie dann und verliert dabei Informationen.

Das heißt, die Gelenkwahrscheinlichkeit ist ellipsoid, gerade weil Sie zwei Gaußsche Verteilungen haben, die gemeinsam ein Ellipsoid ergeben, dessen Zirkularität durch die relative Varianz der beiden Verteilungen bestimmt wird und dessen Steigung der Hauptachse durch die Korrelation der beiden bestimmt wird Datensätze. Da Sie angeben, dass die beiden Datensätze unabhängig sind, verläuft die Hauptachse parallel zur x- oder y-Achse.

Auf der anderen Seite projiziert Ihr Beispiel mit zwei Tests Gaußsche Verteilungen bis zu einem 1-D-Bereich. Wenn Sie dann die beiden Tests zu einem einzigen 2-D-Diagramm kombinieren (Sicherung projizieren), haben Sie Informationen und die daraus resultierenden 95 verloren % Fläche ist eher ein Rechteck als das entsprechende Ellipsoid. Und es wird schlimmer, wenn die beiden Datensätze korreliert sind.

Es scheint mir also, dass dies ein Hinweis darauf sein könnte, dass bei mehreren Tests Informationen verloren gehen, weil wir Informationen als nach unten projizieren - Informationen im Prozess verlieren - und dann sichern. Die Form der resultierenden Pseudo-Gelenkdichte ist also falsch und der Versuch, ihre Achsen über so etwas wie einen Boneferroni zu skalieren, kann das nicht beheben.

Als Antwort auf Ihre Frage würde ich ja sagen, wir bevorzugen eine Ellipse in unserer gemeinsamen Verteilung anstelle des falschen (aufgrund von Informationsverlust) Rechtecks ​​unserer Pseudo-gemeinsamen Verteilung. Oder vielleicht liegt das Problem darin, dass Sie überhaupt eine Pseudo-Gelenkdichte erstellt haben.

ABER Ihre Frage ist philosophischer als das, und ich muss Amöbens Antwort unterstützen, dass es nicht nur eine Frage der Mathematik ist. Was ist zum Beispiel, wenn Sie Ihr Jellybean-Experiment mit einer präzisen "grünen Jelly Beans" als Teil Ihrer Hypothese vorregistriert haben und nicht mit einer ungenauen "grünlichen". Sie führen das Experiment durch und stellen keinen statistisch signifikanten Effekt fest. Dann zeigt Ihnen Ihr Laborassistent ein Foto, das sie vor all den Jellybean-Dosen von sich selbst gemacht haben - was für eine Herkulesaufgabe, die sie ausgeführt haben! Und etwas, das Sie sagen, lässt den Assistenten erkennen, dass Sie teilweise farbenblind sind.

Es stellt sich heraus, dass das, was Sie "grün" nannten, tatsächlich grüne und Aqua-Geleebonbons sind! Mit Hilfe des Fotos codiert der Assistent die Ergebnisse richtig und es stellt sich heraus, dass grüne Geleebonbons von Bedeutung sind! Ihre Karriere ist gerettet! Es sei denn, Sie haben gerade einen Mehrfachvergleich durchgeführt: Sie haben zwei Mal an den Daten gewischt, und wenn Sie überhaupt eine Bedeutung gefunden hätten, hätte niemand etwas anderes gewusst.

Hier geht es nicht um P-Value-Hacking. Es war eine ehrliche Korrektur, aber Ihre Motivation spielt hier keine Rolle.

Und wenn wir ganz ehrlich sind, ist "grün" nicht spezifischer als "grünlich". Zuerst in Bezug auf die tatsächliche Farbe und dann in Bezug auf die Tatsache, dass Grün höchstwahrscheinlich ein Ersatz für andere Inhaltsstoffe ist.

Und was wäre, wenn Sie Ihren Fehler nie entdeckt hätten, Ihr Assistent jedoch aus irgendeinem Grund das Experiment wiederholt und die zweiten Ergebnisse signifikant waren? Grundsätzlich der gleiche Fall, obwohl Sie zwei Datensätze gesammelt haben. An diesem Punkt fange ich an zu wandern, also lassen Sie mich noch einmal zusammenfassen und sagen, ich glaube, Amoeba hat es richtig und Ihre Idee "es ist oder ist nicht wegen der Mathematik" ist technisch korrekt, aber in der realen Welt nicht nachvollziehbar.

ALTE Antwort: Geht es bei dieser Frage tatsächlich um Korrelation? Ich denke eher an ein Mahalanobis-Distanz-Problem, bei dem ein unabhängiger Blick auf 95% x1 und 95% x2 ein Rechteck ergibt, aber dies setzt voraus, dass x1 und x2 nicht korreliert sind. Bei Verwendung des Mahalanobis-Abstandes (eine Ellipse, die basierend auf der Korrelation zwischen x1 und x2 geformt wird) ist überlegen. Die Ellipse erstreckt sich außerhalb des Rechtecks, akzeptiert also einige Punkte außerhalb des Rechtecks, lehnt jedoch auch Punkte innerhalb des Rechtecks ​​ab. Angenommen, x1 und x2 sind bis zu einem gewissen Grad korreliert.

Wenn Sie ansonsten annehmen, dass x1 und x2 eine Korrelation von 0 haben, welche Verteilung nehmen Sie für jede an? Wenn Sie einheitlich sind, erhalten Sie einen rechteckigen Bereich, wenn normal, erhalten Sie einen elliptischen Bereich. Dies wäre wiederum unabhängig von mehreren Testkorrekturen oder nicht.