Sanity Check: Wie tief kann ein p-Wert gehen?

Ich verwende einen ranksum Test den Median von zwei Proben (zum Vergleich ) und haben festgestellt , dass sie mit signifikant verschieden sind: . Sollte ich einem so kleinen Wert gegenüber misstrauisch sein oder sollte ich ihn der hohen statistischen Leistung zuschreiben, die mit einer sehr großen Stichprobe verbunden ist? Gibt es so etwas wie einen verdächtig niedrigen Wert? $n=120000$ p = 1.12E-207 $p$ $p$

— N26
quelle

Dies ist fast ein Duplikat von stats.stackexchange.com/questions/78839 .

— Amöbe sagt Reinstate Monica

Antworten:

P-Werte auf Standardcomputern (unter Verwendung von IEEE-Gleitkommazahlen mit doppelter Genauigkeit) können nur etwa . Dies können legitim korrekte Berechnungen sein, wenn die Effektgröße groß und / oder die Standardfehler gering sind. Ihr Wert entspricht, wenn er mit einem T oder einer Normalverteilung berechnet wird, einer Effektgröße von ungefähr 31 Standardfehlern. Beachten Sie, dass Standardfehler normalerweise mit der reziproken Quadratwurzel von skalieren , was eine Differenz von weniger als 0,09 Standardabweichungen widerspiegelt (vorausgesetzt, alle Stichproben sind unabhängig). In den meisten Anwendungen ist ein solcher Unterschied weder verdächtig noch ungewöhnlich. $10^{-303}$ $n$

Die Interpretation solcher p-Werte ist eine andere Sache. Das Betrachten einer Zahl von oder sogar als Wahrscheinlichkeit überschreitet die Grenzen der Vernunft, wenn man bedenkt, wie wahrscheinlich die Realität von dem Wahrscheinlichkeitsmodell abweicht, das dieser p-Wert-Berechnung zugrunde liegt. Eine gute Wahl ist es, den p-Wert als kleiner als den kleinsten Schwellenwert anzugeben, den das Modell Ihrer Meinung nach unterstützen kann: häufig zwischen und . $10^{-207}$ $10^{-10}$ $0.01$ $0.0001$

— whuber
quelle

Als ich in einem Konferenzbeitrag ''

'' meldete, sagte mir ein Rezensent, ich solle es in ''

'' ändern , um die APA-Richtlinien zu befolgen.

p < 10^{- 26}

$p<10^{-26}$

p < 0.001

$p<0.001$

— Thomas Levine

@whuber - Schön gesagt.

— Rolando2

(+1) Irgendwann ist es wahrscheinlicher, dass die Regierung mit Superspion-Technologie aus der Ferne Teile in Ihrem RAM umblättert ...

— JMS

(+1) Bei IEEE-Gleitkommazahlen mit doppelter Genauigkeit können Sie sogar einen Wert von knapp unter

. Aber Ihre numerischen Routinen zur Berechnung von

Werten fallen bis dahin garantiert auseinander. Wenn Sie nicht genau wissen, dass Ihre Modellannahmen korrekt sind (und wann?), Wird ein

Wert schließlich nur zu einem Maß für die Stichprobengröße, sobald die Stichprobe groß genug ist.

5 \times 10^{- 324}

$5 \times 10^{-324}$

p

$p$

p

$p$

— Kardinal

@Cardinal Wir sind beide falsch in Bezug auf die Grenzwerte: Abgesehen von denormalisierten Werten beträgt das kleinste IEEE-Double ungefähr

, was zehn Bits für einen Exponenten zur Basis 2 entspricht.

10^{- 308}

$10^{-308}$

— whuber

Es gibt nichts Verdächtiges - extrem niedrige p-Werte wie Sie sind ziemlich häufig, wenn die Stichprobengröße groß ist (wie bei Ihnen für den Vergleich von Medianwerten). Wie bereits erwähnt, werden solche p-Werte normalerweise als kleiner als ein bestimmter Schwellenwert (z. B. <0,001) angegeben.

Zu beachten ist, dass p-Werte nur Aufschluss darüber geben, ob der Unterschied im Median statistisch signifikant ist. Ob der Unterschied betragsmäßig signifikant genug ist, müssen Sie entscheiden: Bei großen Stichprobensätzen können z. B. extrem kleine Unterschiede in Mittelwerten / Medianen statistisch signifikant sein, was jedoch möglicherweise nicht viel bedeutet.

— xuexue
quelle

Ein p-Wert kann einen Wert von 0 erreichen.

$\theta$ $\mathcal{H}_0: \theta = 1$ $X=1.1$

— AdamO
quelle