Ist der genaue Wert eines 'p-Wertes' bedeutungslos?

Ich hatte 2009 eine Diskussion mit einem Statistiker, in der er feststellte, dass der genaue Wert eines p-Werts irrelevant ist: Wichtig ist nur, ob er signifikant ist oder nicht. Dh ein Ergebnis kann nicht signifikanter sein als ein anderes; Ihre Proben stammen zum Beispiel entweder aus derselben Population oder nicht.

Ich habe einige Bedenken, aber ich kann die Ideologie vielleicht verstehen:

1. Die 5% -Schwelle ist willkürlich, dh, dass p = 0,051 nicht signifikant ist und p = 0,049, sollte die Schlussfolgerung Ihrer Beobachtung oder Ihres Experiments nicht wirklich ändern, obwohl ein Ergebnis signifikant und das andere nicht signifikant ist.

   Der Grund, warum ich das jetzt anspreche, ist, dass ich für einen MSc in Bioinformatik studiere und nach Gesprächen mit Fachleuten ein entschlossenes Bestreben besteht, für jede Statistik einen genauen p-Wert zu erhalten. Wenn sie beispielsweise einen p-Wert von p <1,9 × 10 ^{–12 erreichen} , möchten sie zeigen, wie signifikant ihr Ergebnis ist und dass dieses Ergebnis SUPER informativ ist. Beispiel für dieses Problem: Warum kann ich keinen p-Wert kleiner als 2.2e-16 erhalten? , wobei sie einen Wert aufzeichnen wollen, der anzeigt, dass dies allein durch Zufall VIEL weniger als 1 in einer Billion wäre. Ich sehe jedoch kaum einen Unterschied darin, zu demonstrieren, dass dieses Ergebnis weniger als 1 in einer Billion im Gegensatz zu 1 in einer Milliarde auftreten würde.

2. Ich kann dann einschätzen, dass p <0,01 zeigt, dass es weniger als 1% Wahrscheinlichkeit gibt, dass dies eintreten würde, wohingegen p <0,001 anzeigt, dass ein Ergebnis wie dieses noch unwahrscheinlicher ist als der oben genannte p-Wert, aber sollten Ihre Schlussfolgerungen vollständig sein anders? Immerhin sind beide signifikante p-Werte. Ich kann mir nur vorstellen, den genauen p-Wert während einer Bonferroni-Korrektur aufzuzeichnen, bei der sich die Schwelle aufgrund der Anzahl der durchgeführten Vergleiche ändert, wodurch der Fehler vom Typ I verringert wird. Aber warum möchten Sie trotzdem einen p-Wert anzeigen, der 12 Größenordnungen kleiner ist als Ihre Schwellenwertsignifikanz?

3. Und ist die Bonferroni-Korrektur an sich nicht auch etwas willkürlich? In dem Sinne, dass die Korrektur anfangs als sehr konservativ angesehen wird und es daher andere Korrekturen gibt, die man wählen kann, um auf das Signifikanzniveau zuzugreifen, das der Beobachter für seine Mehrfachvergleiche verwenden könnte. Aber aus diesem Grund ist der Punkt, an dem etwas signifikant wird, nicht wesentlich variabel, je nachdem, welche Statistik der Forscher verwenden möchte. Sollte die Statistik so offen für Interpretationen sein?

Abschließend sollte die Statistik nicht weniger subjektiv sein (obwohl ich vermute, dass ihre Subjektivität eine Folge eines multivariaten Systems ist), aber letztendlich möchte ich eine Klarstellung: Kann etwas bedeutender sein als etwas anderes? Und wird p <0,001 ausreichen, um den genauen p-Wert aufzuzeichnen?

1. $\alpha=.05$$\alpha=.051$$p$

   $p$$\ge.05$$p$Bei der Interpretation von Werten werden Sie viele Meinungsverschiedenheiten über die Interpretation von Werten durch binäre / Entscheidungen in Bezug auf die Null sehen.$p$fail toreject

2. $p$$p$$p$

   $p$

3. $\alpha$

   $p$

fail toreject$p$-Werte gemeldet werden? (und warum setzt R bei 2.22e-16 ein Minimum?) "- Es ist viel besser als die Antworten auf die Version dieser Frage, die Sie bei Stack Overflow verlinkt haben!

<sup>Referenzen
- Johnson, VE (2013). Überarbeitete Standards für statistische Nachweise. Verfahren der National Academy of Sciences, 110 (48), 19313–19317. Abgerufen von http://www.pnas.org/content/110/48/19313.full.pdf .
- Lew, MJ (2013). Zu P oder nicht zu P: Über die Evidenz der P-Werte und ihren Platz in der wissenschaftlichen Folgerung. arXiv: 1311.0081 [stat.ME]. Abgerufen von http://arxiv.org/abs/1311.0081 .</sup>

Es scheint mir, dass, wenn ein Wert aussagekräftig ist, sein genauer Wert aussagekräftig ist.

Der p-Wert beantwortet diese Frage:

Wenn in der Population, aus der diese Stichprobe zufällig gezogen wurde, die Nullhypothese zutrifft, wie hoch ist dann die Wahrscheinlichkeit, dass eine Teststatistik erhalten wird, die mindestens so extrem ist wie diejenige, die wir in der Stichprobe erhalten haben?

Was ist mit dieser Definition, die einen genauen Wert bedeutungslos macht?

Dies ist eine andere Frage als bei den Extremwerten von p. Das Problem bei Aussagen, die p mit vielen Nullen beinhalten, besteht darin, wie gut wir p in den Extremen schätzen können. Da wir das nicht sehr gut können, macht es keinen Sinn, so genaue Schätzungen von p zu verwenden. Dies ist der gleiche Grund, warum wir nicht sagen, dass p = 0,0319281010012981. Wir kennen diese letzten Ziffern nicht mit Sicherheit.

Sollten unsere Schlussfolgerungen anders sein, wenn p <0,001 und nicht p <0,05 ist? Oder, um genaue Zahlen zu verwenden, sollten unsere Schlussfolgerungen anders sein, wenn p = 0,00023 und nicht p = 0,035 ist?

Ich denke, das Problem ist, wie wir normalerweise Dinge über p schließen. Wir sagen "signifikant" oder "nicht signifikant", basierend auf einer beliebigen Ebene. Wenn wir diese willkürlichen Ebenen verwenden, werden unsere Schlussfolgerungen anders ausfallen. Aber so sollten wir nicht über diese Dinge nachdenken. Wir sollten uns die Beweislast ansehen, und statistische Tests sind nur ein Teil dieser Beweise. Ich werde (noch einmal) Robert Abelsons "MAGIC-Kriterien" einstecken:

Größenordnung - wie groß ist der Effekt?

Artikulation - wie genau ist es angegeben? Gibt es viele Ausnahmen?

Allgemeingültigkeit - für welche Gruppe gilt es?

Interesse - wird es den Menschen etwas ausmachen?

Glaubwürdigkeit - macht es Sinn?

Auf die Kombination all dieser Faktoren kommt es an. Beachten Sie, dass Abelson p-Werte überhaupt nicht erwähnt, obwohl sie als eine Art Hybrid aus Größe und Artikulation vorliegen.