Eingefestigte Ansichten von p-Werten

Manchmal füge ich in Berichten einen Haftungsausschluss zu den von mir bereitgestellten p-Werten und anderen Inferenzstatistiken ein. Ich sage, da die Stichprobe nicht zufällig war, galten solche Statistiken nicht unbedingt. Mein spezifischer Wortlaut wird normalerweise in einer Fußnote angegeben:

"Während Inferenzstatistiken streng genommen nur im Zusammenhang mit Zufallsstichproben anwendbar sind, befolgen wir die Konvention, Signifikanzniveaus und / oder Konfidenzintervalle als geeignete Maßstäbe auch für nicht zufällige Stichproben zu melden. Siehe Michael Oakes ' Statistische Schlussfolgerung: Ein Kommentar zum sozialen und Verhaltenswissenschaften (NY: Wiley, 1986).

Bei einigen Gelegenheiten - einmal für eine von Fachkollegen begutachtete Arbeit, ein- oder zweimal in einem nicht-akademischen Umfeld - lehnte der Herausgeber oder Rezensent diesen Haftungsausschluss ab und nannte ihn verwirrend. Er war der Ansicht, dass die Schlussfolgerungen einfach so stehen sollten, wie sie geschrieben wurden (und den Mantel der Autorität gegeben werden). Hat jemand anderes auf dieses Problem gestoßen und eine gute Lösung gefunden? Einerseits ist das Verständnis der Menschen für p-Werte im Allgemeinen schlecht, selbst im Zusammenhang mit der Zufallsstichprobe. Vielleicht spielt es also keine Rolle, was wir sagen. Zum anderen scheint es ein Teil des Problems zu sein, zu weiteren Missverständnissen beizutragen. Ich sollte hinzufügen, dass ich mich häufig mit Umfragestudien beschäftige, bei denen keine zufällige Zuordnung vorliegt und bei denen Monte-Carlo-Simulationen das Problem der Repräsentativität häufig nicht berücksichtigt werden.

Es ist in der Tat ein Argument zu haben, den Haftungsausschluss nicht aufzunehmen. Ehrlich gesagt, würde ich eine kurze Abhandlung über die Natur von p-Werten in einem Zeitschriftenartikel finden, die ein wenig abschreckend ist und für einen Moment innehalten und versuchen müsste, herauszufinden, ob Sie etwas Besonderes getan hätten. .esoteric ... um zu rechtfertigen, diesen Raum einem bestimmten Punkt zuzuweisen.

Als Rezensent würde ich das als unnötig bezeichnen, da der Leser bereits wissen sollte, was ein p-Wert ist und tut. Ich könnte sogar Einwände dagegen erheben, weil das Erstellen einer solchen Notiz keines der vielen Verbrechen der Analyse und Interpretation verhindert, die mit p-Werten einhergehen, sondern lediglich den Umhang des "Vertrau mir, ich weiß, was ich tue" aufwirft. Es ist auch ein bisschen seltsam - "Ich werde mich mutig gegen p-Werte aussprechen, aber nicht so mutig, dass ich sie nicht melde".

Als ich „verschanzen Ansichten auf p-Werten“ betrachte, bin ich viel weniger besorgt über etwas wie das, was Sie oben gepostet, und viel mehr besorgt über Rezensenten Beharren auf statistische Signifikanz , um das Papiers veröffentlicht oder den Fokus werden (put ein Stern durch einen Befund (und plötzlich ist es eine große Sache) oder die Vermischung der statistischen Bedeutung mit der Bedeutung eines Befundes.

Die Verwendung von Inferenzstatistiken kann nicht nur auf der Grundlage eines Populationsmodells, sondern auch auf der Grundlage eines Randomisierungsmodells gerechtfertigt werden. Letzteres macht keine Annahmen über die Art und Weise, wie die Probe erhalten wurde. Tatsächlich war Fisher derjenige, der vorschlug, dass das Randomisierungsmodell die Grundlage für statistische Schlussfolgerungen sein sollte (im Gegensatz zu Neyman und Pearson). Siehe zum Beispiel:

Ernst, MD (2004). Permutationsmethoden: Eine Basis für exakte Rückschlüsse. Statistical Science, 19, 676 & ndash; 685. [Link (offener Zugang)]

Ludbrook, J. & amp; Dudley, H. (1998). Warum Permutationstests den t- und F-Tests in der biomedizinischen Forschung überlegen sind. American Statistician, 52, 127 & ndash; 132. [Link (wenn Sie JSTOR-Zugriff haben)]

Ich bezweifle jedoch, dass die fraglichen Redakteure oder Rezensenten dies als Grund dafür herangezogen haben, Ihren Haftungsausschluss als "verwirrend" zu bezeichnen.

$p$Werte sind in der Tat notwendig, um trotz ihrer nicht zu vernachlässigenden Ungültigkeit in einer problematischen Studie (einer Klasse, in die allzu viele veröffentlichte Artikel fallen) zu berichten, man könnte sie implizit herunterspielen. Ziehen Sie in Betracht, Ihre Erzählung stattdessen - vielleicht sogar ausschließlich - auf Effektgrößen zu konzentrieren. Wenn Ihre Studie ausreichend repräsentativ ist, um nützlich zu sein (dies sollte keine vollkommen zufällige Stichprobe erfordern, nur Vorsicht bei der Allgemeinheit der Interpretationen), sollten Ihre Effektgrößen umfassendere Auswirkungen haben, als ohnehin nur das Vorhandensein und die Richtungen von Beziehungen oder Unterschieden anzuzeigen. Die Fokussierung der Diskussion auf Effektgrößen kann ein tieferes Verständnis dafür ermöglichen, wie wichtig die Beziehungen oder Unterschiede im praktischen Sinne sind, obwohl dies im Kontext des Studienfachs noch zu berücksichtigen ist (z. B.$r = .03$$p$$p$$p$

Eine andere, möglicherweise ergänzende Option wäre, Ihre Fußnote zu erweitern. Sowohl Ihre Beschreibungen des Problems als Rezensenten haben es erfahren, als auch die gegenwärtig akzeptierte Antwort auf dieser Seite legen nahe, dass nicht genügend Informationen übermittelt werden, um Ihre Motivation für die Aufnahme der Fußnote zu erklären, noch genug, um den Leser zu motivieren, Ihrem Zitat auf die Referenz zu folgen das benutzt du, um es so knapp zu erklären. Ein einziger, zusätzlicher Satz, sogar ein kurzes Zitat aus Ihrer Referenz, könnte den Wert Ihrer Fußnote erklären und die Leser motivieren, tiefer zu lesen. Offensichtlich motiviert Ihre Fußnote eher eine einfache, negative, abweisende Reaktion auf Ihren zurückhaltenden Versuch, ihre Selbstzufriedenheit mit ihren falschen Annahmen zu stören. Die Leser könnten etwas weniger intellektuell faul sein, wenn Sie ihnen einen oder zwei der wichtigsten Punkte zu Problemen vortragen, die sie wahrscheinlich routinemäßig übersehen. Auch für viele besondere Probleme mit$p$

$p$

• Was bedeuten p-Werte und t-Werte in statistischen Tests?
• P-Wert verstehen

$p$$p$$p$

Verweise

<sup>- Goodman, SN (1992). Ein Kommentar zu Replikation, P- Werten und Evidenz. Statistics in Medicine, 11 (7), 875–879.
- Goodman, SN (2001). Von P- Werten und Bayes: Ein bescheidener Vorschlag. Epidemiology, 12 (3), 295–297. Abgerufen von http://swfsc.noaa.gov/uploadedFiles/Divisions/PRD/Programs/ETP_Cetacean_Assessment/Of_P_Values_and_Bayes__A_Modest_Proposal.6.pdf .
- Goodman, S. (2008). Ein schmutziges Dutzend: Zwölf P- Wert-Missverständnisse. Seminare in Hämatologie, 45 (3), 135-140. Von http://xa.yimg.com/kq/groups/18751725/636586767/name/twelve+P+value+misconceptions.pdf .
- Gorroochurn, P., Hodge, SE, Heiman, GA, Durner, M. & Greenberg, DA (2007). Nichtreplikation von Assoziationsstudien: „Pseudofehler“ replizieren? Genetics in Medicine, 9 (6), 325–331. Abgerufen von http://www.nature.com/gim/journal/v9/n6/full/gim200755a.html .
- Hurlbert, SH & Lombardi, CM (2009). Endgültiger Zusammenbruch des Neyman-Pearson-Entscheidungsrahmens und Aufstieg des neoFisherian. Annales Zoologici Fennici, 46 (5), 311–349. Abgerufen von http://xa.yimg.com/kq/groups/1542294/508917937/name/HurlbertLombardi2009AZF.pdf .
- Lew, MJ (2013). Zu P oder nicht zu P: Über die Evidenz der P-Werte und ihren Platz in der wissenschaftlichen Folgerung. arXiv: 1311.0081 [stat.ME]. Abgerufen vonhttp://arxiv.org/abs/1311.0081 .
- Nuzzo, R. (2014, 12. Februar). Wissenschaftliche Methode: Statistische Fehler. Nature News, 506 (7487). Abgerufen von http://www.nature.com/news/scientific-method-statistical-errors-1.14700 .
- Rosenthal, R., Rosnow, RL & Rubin, DB (2000). Kontraste und Effektgrößen in der Verhaltensforschung: Ein korrelativer Ansatz. Cambridge University Press.
- Senn, S. (2001). Ein Hoch auf die P-Werte? Journal of Epidemiology and Biostatistics, 6 (2), 193–204. Abgerufen von http://www.phil.vt.edu/dmayo/conference_2010/Senn%20Two%20Cheers%20Paper.pdf .
- Wagenmakers, EJ (2007). Eine praktische Lösung für die allgegenwärtigen Probleme vonp Werte. Psychonomic Bulletin & Review, 14 (5), 779–804. Abgerufen von http://www.brainlife.org/reprint/2007/Wagenmakers_EJ071000.pdf .</sup>