Kombinieren von p-Werten aus verschiedenen statistischen Tests, die auf dieselben Daten angewendet wurden

Obwohl der Titel der Frage trivial erscheint, möchte ich erklären, dass er nicht so trivial ist, dass er sich von der Frage unterscheidet, denselben statistischen Test in ähnlichen Datensätzen anzuwenden, um ihn gegen eine Nullhypothese zu testen (Metaanalyse, zB unter Verwendung der Fisher-Methode zum Kombinieren von p-Werten). Was ich suche, ist eine Methode (wenn sie existiert und wenn die Frage statistisch gültig ist), die p-Werte aus zwei verschiedenen statistischen Tests (z. B. einem t-Test und einem u-Test, selbst wenn einer ist) kombiniert parametrisch und die andere nicht), angewendet, um die Zentren von zwei Proben aus zwei Populationen zu vergleichen. Bisher habe ich viel im Internet gesucht, ohne eine klare Antwort zu haben. Die beste Antwort, die ich finden konnte, basierte auf spieltheoretischen Konzepten von David Bickel ( http://arxiv.org/pdf/1111.6174.pdf ).

Eine sehr vereinfachende Lösung wäre ein Abstimmungsschema. Angenommen, ich habe zwei Vektoren von Beobachtungen $A=[a_1, a_2, ..., a_n]$ und $B=[b_1, b_2, ..., b_n]$und ich möchte mehrere t-ähnliche Statistiken (t-Test, u-Test, sogar 1-Wege-ANOVA) anwenden, um die Hypothese zu testen, dass die Zentren (Mittelwerte, Mediane usw.) der beiden zugrunde liegenden Verteilungen gegen die Hypothese gleich sind Sie haben kein Signifikanzniveau von 0,05. Angenommen, ich führe 5 Tests durch. Wäre es legitim zu sagen, dass es genügend Beweise gibt, um die Nullverteilung abzulehnen, wenn ich in 3 von 5 Tests einen p-Wert <0,05 habe?

Wäre eine andere Lösung, das Gesetz der Gesamtwahrscheinlichkeit anzuwenden, oder ist dies völlig falsch? Angenommen, $A$ ist das Ereignis, bei dem die Nullverteilung abgelehnt wird. Dann wird unter Verwendung von 3 Tests, $T_1$ , $T_2$ , $T_3$ (was bedeutet , dass $P(T_1)=P(T_2)=P(T_3)=1/3$ ), wäre ein möglicher Wert für $P(A)$ sein , $P(A) = P(A|T_1)P(T_1) + P(A|T_2)P(T_2) + P(A|T_3)P(T_3)$ , wobei$P(A|T_i)$ die Wahrscheinlichkeit ist dass die Nullverteilung unter dem Test verworfen wird$T_i$.

Ich entschuldige mich, wenn die Antwort offensichtlich oder die Frage zu dumm ist

Die von Corone empfohlene Korrektur mehrerer Tests ist in Ordnung, kostet Sie jedoch Berge an Leistung, da Ihre p-Werte im Allgemeinen auch bei Verwendung der Hommel-Korrektur gut korrelieren.

$p_1, p_2, \dots, p_n$p $p^* = \min (p_1, \dots, p_n)$$p^*$

Sie müssen den Wert für den beobachteten Wert von berechnen (nennen Sie ihn ). Dazu können Sie beispielsweise 100 000 Datensätze unter den Nullhypothesen simulieren und für jeden dieser Datensätze ein berechnen . Dies gibt Ihnen eine empirische Verteilung von unter der Nullhypothese. Ihr Wert ist der Anteil der simulierten Werte, die .p ∗ p ∗ o b s p ∗ p ∗ p < p ∗ o b $p$$p^*$$p^*_{obs}$$p^*$$p^*$$p$$<p^*_{obs}$

Wie simulieren Sie die Datensätze unter der Nullhypothese? In Ihrem Fall haben Sie, wenn ich gut denke, Fälle und Kontrollen sowie RNS-seq-Daten, um die Expressionsniveaus abzuschätzen. Um einen Datensatz unter der Null zu simulieren, ist es üblich, den Fall- / Kontrollstatus einfach zufällig zu permutieren.

Diese Art von Dingen wird normalerweise durch mehrere Hypothesentests abgedeckt, obwohl dies keine typische Situation ist.

Sie haben zu Recht festgestellt, dass dies anders ist als die Metaanalyse, da Sie dieselben Daten für mehrere Tests verwenden, diese Situation jedoch weiterhin durch Tests mit mehreren Hypothesen abgedeckt wird. Was hier etwas seltsam ist, ist, dass es fast dieselbe Hypothese ist, die Sie mehrmals testen, und dann möchten Sie die globale Nullhypothese, die den Schnittpunkt all dieser darstellt - es lohnt sich vielleicht, sich zu fragen, warum Sie dies für notwendig halten , aber es könnte legitime Gründe geben.

Wenn Sie eine analytisch nachvollziehbarere Reihe von Tests durchführen, könnte man sich auf den Weg der Union-Intersection-Tests machen, aber ich glaube nicht, dass Sie dadurch irgendwohin gelangen würden. Daher würde ich empfehlen, eine sofort einsatzbereite Multiplizitätskorrektur zu verwenden.

Ich würde vorschlagen, dass Sie sich zunächst ansehen, was Wikipedia zu diesem Thema zu sagen hat, aber versuchen, nicht zu festgefahren zu werden: http://en.wikipedia.org/wiki/Multiple_comparisons

Sie müssen also eine Multiplizitätskorrektur verwenden und Union-Intersection ausschließen. Ihre Optionen sind ungefähr wie folgt

• Bonferonni - Streng dominiert von Holm-Bonferroni, nur historisches Interesse
• Holm-Bonferroni - Funktioniert für Sie, kostet Sie jedoch Strom (in Ihrem Fall möglicherweise viel)
• Sidak - leistungsfähiger als BH, aber Sie können dies nicht verwenden, da Ihre p-Werte korreliert werden
• Hommel - stärker als BH, und es sollte Ihnen gut gehen, da Ihre p-Werte zweifellos positiv korreliert sind

Ihr größtes Problem ist, dass Sie in Ihren verschiedenen Tests sehr wahrscheinlich sehr ähnliche p-Werte erhalten. Hommel sollte dich dafür nicht zu sehr bestrafen.

Zum Beispiel können Sie p-Werte in R mit anpassen p.adjust

p = c(0.03, 0.034, 0.041)
p.adjust(p, method = "bonferroni")
p.adjust(p, method = "holm")
p.adjust(p, method = "hommel")

> p.adjust(p, method = "bonferroni")
[1] 0.090 0.102 0.123
> p.adjust(p, method = "holm")
[1] 0.09 0.09 0.09
> p.adjust(p, method = "hommel")
[1] 0.041 0.041 0.041

Diese Methoden steuern alle die familienbezogene Fehlerrate. Wenn Sie also jeden p-Wert nacheinander testen, basierend darauf, dass er Ihren Schwellenwert überschreitet, wird die Wahrscheinlichkeit von 1 oder mehr Fehlern immer noch auf gesteuert . Dies bedeutet, dass Sie die globale Hypothese ablehnen können, wenn Sie eine oder mehrere Unterhypothesen ablehnen und die Größe Ihres Tests weiterhin auf gesteuert wird .$\alpha$$\alpha$

Wie ich zu Beginn angedeutet habe, wird dies nicht der mächtigste Angriff sein, den Sie ausführen können, aber alles, was anspruchsvoller ist, erfordert viel mehr Arbeit.

Warum dies steuert$\alpha$

Die globale Nullhypothese lautet, dass alle untergeordneten Nullhypothesen wahr sind.

Das Ergebnis eines einzelnen Tests sei , das den Wert 1 annimmt, wenn die Null zurückgewiesen wird, andernfalls 0.$X_i$

Da zweifellos positiv korreliert sind, können wir Hommel zur Steuerung der FWER verwenden.$X_i$

Diese Steuerung bedeutet, dass die Wahrscheinlichkeit, dass ein oder mehrere Tests fälschlicherweise zurückweisen, auf gesteuert wird$\alpha$

Daher ist $P(\sum(X_i) > 0) \le \alpha$

Wenn Sie also die globale Hypothese ablehnen, wenn eine oder mehrere untergeordnete Hypothesen abgelehnt werden, beträgt die Größe des globalen Tests$\le \alpha$