Sanity Check: Wie tief kann ein p-Wert gehen?

24

Ich verwende einen ranksum Test den Median von zwei Proben (zum Vergleich ) und haben festgestellt , dass sie mit signifikant verschieden sind: . Sollte ich einem so kleinen Wert gegenüber misstrauisch sein oder sollte ich ihn der hohen statistischen Leistung zuschreiben, die mit einer sehr großen Stichprobe verbunden ist? Gibt es so etwas wie einen verdächtig niedrigen Wert?n=120000p = 1.12E-207pp

hypothesis-testing p-value sample-size power N26
quelle
Dies ist fast ein Duplikat von stats.stackexchange.com/questions/78839 .
Amöbe sagt Reinstate Monica

Antworten:

30

P-Werte auf Standardcomputern (unter Verwendung von IEEE-Gleitkommazahlen mit doppelter Genauigkeit) können nur etwa . Dies können legitim korrekte Berechnungen sein, wenn die Effektgröße groß und / oder die Standardfehler gering sind. Ihr Wert entspricht, wenn er mit einem T oder einer Normalverteilung berechnet wird, einer Effektgröße von ungefähr 31 Standardfehlern. Beachten Sie, dass Standardfehler normalerweise mit der reziproken Quadratwurzel von n skalieren , was eine Differenz von weniger als 0,09 Standardabweichungen widerspiegelt (vorausgesetzt, alle Stichproben sind unabhängig). In den meisten Anwendungen ist ein solcher Unterschied weder verdächtig noch ungewöhnlich.10−303n

Die Interpretation solcher p-Werte ist eine andere Sache. Das Betrachten einer Zahl von oder sogar 10 bis 10 als Wahrscheinlichkeit überschreitet die Grenzen der Vernunft, wenn man bedenkt, wie wahrscheinlich die Realität von dem Wahrscheinlichkeitsmodell abweicht, das dieser p-Wert-Berechnung zugrunde liegt. Eine gute Wahl ist es, den p-Wert als kleiner als den kleinsten Schwellenwert anzugeben, den das Modell Ihrer Meinung nach unterstützen kann: häufig zwischen 0,01 und 0,0001 .10−20710−100.010.0001

whuber
quelle
13
Als ich in einem Konferenzbeitrag '' '' meldete, sagte mir ein Rezensent, ich solle es in '' p < 0,001 '' ändern , um die APA-Richtlinien zu befolgen. p<10−26p<0.001
Thomas Levine
4
@whuber - Schön gesagt.
Rolando2
2
(+1) Irgendwann ist es wahrscheinlicher, dass die Regierung mit Superspion-Technologie aus der Ferne Teile in Ihrem RAM umblättert ...
JMS
4
(+1) Bei IEEE-Gleitkommazahlen mit doppelter Genauigkeit können Sie sogar einen Wert von knapp unter . Aber Ihre numerischen Routinen zur Berechnung von p- Werten fallen bis dahin garantiert auseinander. Wenn Sie nicht genau wissen, dass Ihre Modellannahmen korrekt sind (und wann?), Wird ein p- Wert schließlich nur zu einem Maß für die Stichprobengröße, sobald die Stichprobe groß genug ist. 5×10−324pp
Kardinal
1
@Cardinal Wir sind beide falsch in Bezug auf die Grenzwerte: Abgesehen von denormalisierten Werten beträgt das kleinste IEEE-Double ungefähr , was zehn Bits für einen Exponenten zur Basis 2 entspricht. 10−308
whuber
16

Es gibt nichts Verdächtiges - extrem niedrige p-Werte wie Sie sind ziemlich häufig, wenn die Stichprobengröße groß ist (wie bei Ihnen für den Vergleich von Medianwerten). Wie bereits erwähnt, werden solche p-Werte normalerweise als kleiner als ein bestimmter Schwellenwert (z. B. <0,001) angegeben.

Zu beachten ist, dass p-Werte nur Aufschluss darüber geben, ob der Unterschied im Median statistisch signifikant ist. Ob der Unterschied betragsmäßig signifikant genug ist, müssen Sie entscheiden: Bei großen Stichprobensätzen können z. B. extrem kleine Unterschiede in Mittelwerten / Medianen statistisch signifikant sein, was jedoch möglicherweise nicht viel bedeutet.

xuexue
quelle
3

Ein p-Wert kann einen Wert von 0 erreichen.

θH0:θ=1X=1.1

AdamO
quelle