Ist der p-Wert auch die Rate falscher Entdeckungen?

In http://surveyanalysis.org/wiki/Multiple_Comparisons_(Post_Hoc_Testing) heißt es

Wenn wir beispielsweise einen p-Wert von 0,05 haben und daraus schließen, dass er signifikant ist, beträgt die Wahrscheinlichkeit einer falschen Entdeckung per Definition 0,05.

Meine Frage: Ich habe immer gedacht, dass eine falsche Entdeckung ein Fehler vom Typ I ist, der in den meisten Tests den gewählten Signifikanzniveaus entspricht. Der P-Wert ist der aus der Probe berechnete Wert. In der Tat sagt Wikipedia

Der p-Wert sollte nicht mit dem Signifikanzniveau im Neyman-Pearson-Ansatz oder der Fehlerrate Typ I [falsch positive Rate] verwechselt werden. " $\alpha$

Warum behauptet der verlinkte Artikel, dass die Fehlerrate von Typ I durch den p-Wert gegeben ist?

— Hallo Welt
quelle

p

$p$

α

$\alpha$

p

$p$

α

$\alpha$

@COOL Das ist ein schrecklich kontroverses Papier. Schauen Sie sich einfach den Anfang der Diskussion an, die auf der letzten Seite folgt. Es scheint mir, dass die Autoren - absichtlich oder unbewusst - viele der Statistiker, die sie als so unwissend und falsch bezeichnen, falsch interpretieren.

— whuber

@whuber Das war auch mein Eindruck, als ich die Zeitung las. Kennen Sie ein Papier, ein Buch oder einen Beitrag, in dem dieses Thema besser behandelt werden kann?

— COOLSerdash

@COOL Es gibt so viele, dass ich sie nicht einmal mehr verfolgen kann.

— whuber

Der verlinkte Artikel auf pollanalysis.org ist Müll, und das Zitat ist absolut falsch.

— Amöbe

Antworten:

Ihre Rate falscher Entdeckungen hängt nicht nur von der p-Wert-Schwelle ab, sondern auch von der Wahrheit. Wenn Ihre Nullhypothese in Wirklichkeit falsch ist, können Sie keine falsche Entdeckung machen.

Vielleicht ist es hilfreich, sich das so vorzustellen: Der p-Wert-Schwellenwert ist die Wahrscheinlichkeit, falsche Entdeckungen zu machen, wenn keine wahren Entdeckungen gemacht werden müssen (oder anders ausgedrückt, wenn die Nullhypothese wahr ist).

Grundsätzlich,

Typ 1 Fehlerrate = "Wahrscheinlichkeit, dass die Null zurückgewiesen wird, wenn sie wahr ist" = p-Wert-Schwellenwert

und

Fehlerrate Typ 1 = Falsche Erkennungsrate WENN die Nullhypothese wahr ist

ist korrekt, aber beachten Sie die Bedingung von der wahren Null. Die Rate falscher Entdeckungen hat diese Bedingung nicht und hängt daher von der unbekannten Wahrheit ab, wie viele Ihrer Nullhypothesen tatsächlich korrekt sind oder nicht.

Es lohnt sich auch zu berücksichtigen, dass Sie bei der Steuerung der Falschentdeckungsrate mit einem Verfahren wie Benjamini-Hochberg niemals die tatsächlich Falschentdeckungsrate schätzen können, sondern sie durch Schätzen einer Obergrenze steuern. Um mehr zu tun, müssten Sie tatsächlich in der Lage sein, mithilfe von Statistiken zu erkennen, dass die Nullhypothese wahr ist, wenn Sie nur Verstöße einer bestimmten Größenordnung erkennen können (abhängig von der Stärke Ihres Tests).

— Erik
quelle

"Eine falsche Entdeckung, ein Fehler vom Typ I und ein falsches Positiv sind alle gleichwertig. Während die Falsch-Positiv-Rate und die Fehlerrate vom Typ I gleich sind, ist die Falsch-Entdeckungsrate eine völlig andere Größe." Eine Definition von FDR finden Sie hier .

— Randel

Wenn die Nullhypothese wahr ist (oder alle Nullhypothesen wahr sind), ist der FDR per Definition 100% (100% aller zurückgewiesenen Nullhypothesen werden falsch zurückgewiesen).

— Björn

m

$m$

0.05 m

$0.05m$

Der Unterschied zwischen P-Werten und falsch positiver Rate (oder falscher Entdeckungsrate) wird, wie ich hoffe, unter http://rsos.royalsocietypublishing.org/content/1/3/140216 klar erklärt

Obwohl in diesem Artikel der Begriff "False Discovery Rate" verwendet wird, bevorzuge ich jetzt "False Positive Rate", da der frühere Begriff häufig im Zusammenhang mit Korrekturen für mehrere Vergleiche verwendet wird. Das ist ein anderes Problem. Das Papier weist darauf hin, dass für einen einzelnen unvoreingenommenen Test die Falsch-Positiv-Rate unter fast allen Umständen viel höher ist als der P-Wert.

Eine qualitative Beschreibung der zugrunde liegenden Logik finden Sie auch unter https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistic-significant

— David Colquhoun
quelle