Lehnen Sie die Nullhypothese ab, wenn

Dies ist eindeutig nur eine Frage der Definition oder Konvention und hat praktisch kaum Bedeutung. Wenn $\alpha$ auf seinen traditionellen Wert von 0,05 eingestellt ist, wird ein Wert von 0,0500000000000 als statistisch signifikant angesehen oder nicht? Wird die Regel zur Definition der statistischen Signifikanz normalerweise als oder ? $p$ $p < \alpha$ $p \leq \alpha$

hypothesis-testing statistical-significance definition Harvey Motulsky
quelle

In vielen Fällen (zB bei den üblichen

oder

Tests) spielt die Unterscheidung keine Rolle, da die Wahrscheinlichkeit, dass der

Wert genau .05 ist, 0 ist. Dies ist immer dann der Fall, wenn die Nullverteilung stetig ist.

z

$z$

t

$t$

p

$p$

Makro

In einem sehr allgemeinen Sinn macht es nicht viel, da (nur sehr bescheidene Annahmen gegeben)

unter der Nullhypothese -Werten gleichmäßig verteilt.

p

$p$

Kardinal

Dieses Problem tritt bei diskreten Distributionsfamilien, @Cardinal, auf.

whuber

@MichaelChernick, ich stimme mit allem überein, was Sie gesagt haben, aber das OP stellt diese Frage im Zusammenhang mit der Programmierung einer automatischen Hypothesentestfunktion: Sollte diese Funktion ablehnen oder nicht, wenn der

Wert genau gleich

p

$p$

α

$\alpha$

Makro

@Macro In diesem Fall ist es wirklich egal, tut es. Ich würde sagen, wirf eine Münze, aber das führt ein zufälliges Element ein. Ich denke, die einfachste Sache wäre, immer bei einem berechneten p-Wert von genau 0,05 abzulehnen, wenn Sie 0,05 als Cutoff nehmen müssen. Für einen Computeralgorithmus kommt es nur auf Konsistenz und Dokumentation an. Warum bekommen wir all diese raffiniert aussehenden Antworten auf eine einfache und, wie Harvey selbst sagt, eine Konvention, die keine praktische Bedeutung hat?

Michael R. Chernick

Antworten:

Unter Berufung auf Lehmann und Romano, Prüfung statistischer Hypothesen, . Wenn wir als Bereich der Zurückweisung und als Bereich der Nullhypothese definieren, haben wir die folgende Aussage, p. 57 in meiner Kopie: $\leq$ $S_1$ $\Omega_H$

Man wählt also eine Zahl zwischen 0 und 1, die als Signifikanzniveau bezeichnet wird , und legt die Bedingung fest, dass: $\alpha$

... $P_\theta\{X \in S_1\} \leq \alpha \text{ for all } \theta \in \Omega_H$

Da es möglich ist, dass , folgt, dass Sie für p-Werte ablehnen würden . $P_\theta\{X \in S_1\} = \alpha$ $\leq \alpha$

Stellen Sie sich auf einer intuitiveren Ebene einen Test in einem diskreten Parameterraum und einen besten (leistungsstärksten) Zurückweisungsbereich mit einer Wahrscheinlichkeit von genau 0,05 unter der Nullhypothese vor. Angenommen, der nächstgrößte (in Bezug auf die Wahrscheinlichkeit) beste Zurückweisungsbereich hatte eine Wahrscheinlichkeit von 0,001 unter der Nullhypothese. Es wäre schwierig zu rechtfertigen, wieder intuitiv zu sagen, dass die erste Region nicht einer Entscheidung mit einem Vertrauensgrad von 95% entspricht, sondern dass Sie die zweite Region verwenden müssen, um 95% zu erreichen. Vertrauensniveau.

Bogenschütze
quelle

Sie haben ein interessantes und etwas kontroverses Thema angesprochen. Dies kann humorvoll durch dieses Bild zusammengefasst werden (auf Andrew Gelmans Blog zu finden, aber ursprünglich mit freundlicher Genehmigung von Dan Goldstein ):

Magical p-values

Erstens ist .05 nichts Magisches. Solange Sie Ihren Schwellenwert im Voraus auswählen, kann ein Schwellenwert von 0,1 oder 0,01 genauso sinnvoll sein. Zu diesem Zweck wäre es ebenso gerechtfertigt , entweder zu wählen, dass Sie einen Cutoff von oder möchten, vorausgesetzt, Sie haben nicht geschummelt, indem Sie Ihren Cutoff geändert, nachdem Sie Ihren p-Wert beobachtet haben. $<.05$ $\leq.05$

Wenn Sie dies im engsten Sinne betrachten wollen, dann würden Sie, wenn Sie vorher einen Cutoff von (was meiner Meinung nach mehr "Standard" ist) wählen und beobachten, dass p genau gleich .05 ist, technisch gesehen betrügen unter Standard-Frequentist-Techniken. Aber darin liegt ein Teil des Problems mit diesem ganzen Ansatz. Wir machen ein binäres Problem "statistisch signifikant oder nicht" aus etwas, das überhaupt kein binäres Problem ist. Wie Andrew Gelman und Hal Stern treffend sagten : "Der Unterschied zwischen" signifikant "und" nicht signifikant "ist selbst statistisch nicht signifikant." $<.05$

Michael McGowan
quelle

Vielen Dank für die tolle Grafik. Ich hatte es noch nie gesehen. Komisch. Und passend. Ja, die Wissenschaftler haben viel zu viel Wert auf den Cutoff von 0,05 gelegt. Ich bin damit einverstanden, dass entweder <.05 oder ≤.05 aus logischer oder mathematischer Sicht gleichermaßen gerechtfertigt sein kann. Was ich frage, ist, ob es eine Konvention gibt, für die häufiger verwendet wird.

Harvey Motulsky

Ich liebe die Grafik!

Rolando2