Frage:
Ein häufiges Missverständnis von p-Werten besteht darin, dass sie die Wahrscheinlichkeit darstellen, dass die Nullhypothese wahr ist. Ich weiß, dass dies nicht korrekt ist, und ich weiß, dass p-Werte nur die Wahrscheinlichkeit darstellen, eine so extreme Stichprobe zu finden, da die Nullhypothese wahr ist. Intuitiv sollte man jedoch in der Lage sein, das erste von dem letzteren abzuleiten. Es muss einen Grund geben, warum niemand dies tut. Welche Informationen fehlen uns , die uns daran hindern, die Wahrscheinlichkeit, dass die Hypothese wahr ist, aus dem p-Wert und verwandten Daten abzuleiten?
Beispiel:
Unsere Hypothese lautet "Vitamin D beeinflusst die Stimmung" (Nullhypothese ist "keine Wirkung"). Nehmen wir an, wir führen eine geeignete statistische Studie mit 1000 Personen durch und finden eine Korrelation zwischen Stimmung und Vitaminspiegel. Wenn alle anderen Dinge gleich sind, zeigt ein p-Wert von 0,01 eine höhere Wahrscheinlichkeit einer wahren Hypothese an als ein p-Wert von 0,05. Nehmen wir an, wir erhalten einen p-Wert von 0,05. Warum können wir die tatsächliche Wahrscheinlichkeit, dass unsere Hypothese wahr ist, nicht berechnen? Welche Informationen fehlen uns?
Alternative Terminologie für häufig auftretende Statistiker:
Wenn Sie die Prämisse meiner Frage akzeptieren, können Sie hier aufhören zu lesen. Das Folgende ist für Personen, die sich weigern zu akzeptieren, dass eine Hypothese eine Wahrscheinlichkeitsinterpretation haben kann. Vergessen wir für einen Moment die Terminologie. Stattdessen...
Angenommen, Sie setzen mit Ihrem Freund. Ihr Freund zeigt Ihnen tausend statistische Studien zu nicht verwandten Themen. Für jede Studie dürfen Sie nur den p-Wert, die Stichprobengröße und die Standardabweichung der Stichprobe betrachten. Für jede Studie bietet Ihnen Ihr Freund einige Chancen, darauf zu wetten, dass die in der Studie vorgestellte Hypothese wahr ist. Sie können wählen, ob Sie die Wette annehmen oder nicht. Nachdem Sie für alle 1000 Studien Wetten abgeschlossen haben, steigt ein Orakel auf Sie und sagt Ihnen, welche Hypothese richtig ist. Mit diesen Informationen können Sie die Wetten abwickeln. Mein Anspruch ist, dass es für dieses Spiel eine optimale Strategie gibt. In meiner Weltanschauung ist das gleichbedeutend damit, die Wahrscheinlichkeiten für die Wahrheit der Hypothese zu kennen, aber wenn wir uns nicht einig sind, ist es in Ordnung. In diesem Fall können wir einfach darüber sprechen, wie p-Werte verwendet werden können, um die Erwartung für die Wetten zu maximieren.
quelle
Antworten:
Andere Antworten werden alle philosophisch, aber ich verstehe nicht, warum es hier gebraucht wird. Betrachten wir Ihr Beispiel:
Für , Einsteigen p = 0,05 entsprechen den Probenkorrelationskoeffizient ρ = 0,062 . Die Nullhypothese lautet H 0 : ρ = 0 . Die alternative Hypothese lautet H 1 : ρ ≠ 0 .n = 1000 p = 0,05 ρ^= 0,062 H.0: ρ = 0 H.1: ρ ≠ 0
Der p-Wert ist und wir können sie auf der Grundlage der Verteilung des Stichproben berechnen ρ unter null; sonst wird nichts benötigt.
Sie möchten P ( H 0) berechnen
und dafür brauchst du die ganze Reihe zusätzlicher Zutaten. In der Tat können wir den Bayes-Satz wie folgt umschreiben:
Um die hintere Wahrscheinlichkeit der Null zu berechnen, müssen Sie zwei zusätzliche Dinge haben:
Wenn Sie bereit sind anzunehmen, dass - obwohl ich persönlich nicht sicher bin, warum dies jemals eine sinnvolle Annahme sein sollte -, müssen Sie immer noch die Verteilung von ρ als Alternative annehmen . In diesem Fall können Sie den sogenannten Bayes-Faktor berechnen :P.( ρ = 0 ) = 0,5 ρ
Wie Sie sehen, ist Bayes Faktor nicht auf dem Stand der Wahrscheinlichkeit der Null ab, aber es ist auf dem Stand der Wahrscheinlichkeit abhängen (unter der Alternative).ρ
[Bitte beachten Sie, dass der Nominator im Bayes-Faktor aufgrund der Gleichheit anstelle des Ungleichheitszeichens nicht der p-Wert ist. Wenn wir also den Bayes-Faktor oder berechnen, verwenden wir den p-Wert selbst überhaupt nicht. Aber wir sind natürlich mit der Stichprobenverteilung P ( ρP.( H.0) .]P.( ρ^|ρ = 0 )
quelle
Quid est veritas?
Ich kann die Antwort von @ amoeba genauso schnell akzeptieren wie das Originalplakat. Ich warne jedoch davor, dass ich in all meinen Arbeiten nicht auf eine Bayes'sche Analyse gestoßen bin, die "die Wahrscheinlichkeit berechnet, dass die Nullhypothese wahr ist". Und eine solche Schlussfolgerung würde eine ganze Reihe von Argumenten von denjenigen anziehen, die Ihre Arbeit überprüfen! Philosophisch ist es soBringen Sie uns zurück zu der Frage: "Was ist Wahrheit?" Vielleicht ist "Wahrheit" unwiderlegbar, selbst um sich selbst zu beweisen. Statistik ist ein wissenschaftliches Instrument zur Quantifizierung der Unsicherheit. Ich behaupte immer noch, dass Beweise zwar stark auf eine Wahrheit hinweisen können, aber immer das Risiko eines falsch positiven Befundes besteht, und der gute Statistiker sollte dieses Risiko melden. Selbst beim Bayes'schen entscheidungstheoretischen Testen wird eine Entscheidungsregel angegeben, damit wir Hypothesen akzeptieren oder ablehnen können, die auf Bayes-Faktoren basieren, die ungefähr proportional zu , aber unsere Überzeugung ist niemals 1 oder 0, selbst wenn wir uns entscheiden ist. Die Entscheidungstheorie gibt uns die Möglichkeit, mit teilweisem Wissen "voranzukommen" und diese Risiken zu akzeptieren.P.r ( H.0| X.) 1 0
Ein Teil der Begründung für statistische Nullhypothesentests (NHST) und diep
Die umgekehrte Kritik wurde auf Bayes'sche Studien angewendet, bei denen man Priors großzügig anwenden kann: Dennis Lindley sagte: "Mit vorheriger Wahrscheinlichkeit 0, dass der Mond aus Käse besteht, konnten Astronauten, die mit Armen voller Käse zurückkehren, immer noch nicht überzeugen."
Die fehlende Information, um festzustellen, ob die Nullhypothese wahr ist, ist trivialerweise das Wissen, ob die Nullhypothese wahr ist. Ironischerweise können wir, wenn wir uns auf deskriptive Statistiken konzentrieren, tolerierbare Bereiche möglicher Effekte akzeptieren und ziemlich stark darauf schließen, dass ein Trend wahrscheinlich wahr ist: Statistische Tests führen uns jedoch nicht zu solchen Ergebnissen. Selbst in der Bayes'schen Folgerung führen keine Daten zu einem singulären Posterior ohne methodische Probleme, sodass die Einbeziehung eines Prior dieses Problem nicht behebt.
quelle
Es gibt zwei Versuche, genau das zu tun, was Sie in der statistischen Geschichte gesagt haben, den Bayesian und den Fiducial. RA Fisher gründete zwei Schulen für statistisches Denken, die Likelihoodist-Schule, die auf der Methode der maximalen Wahrscheinlichkeit basiert, und die Fiducial-Schule, die scheiterte, aber versucht, genau das zu tun, was Sie wollen.
Die kurze Antwort, warum es fehlgeschlagen ist, ist, dass sich seine Wahrscheinlichkeitsverteilungen nicht in die Einheit integriert haben. Die Lektion war am Ende, dass die vorherige Wahrscheinlichkeit eine notwendige Sache ist, um das zu erschaffen, was Sie erschaffen wollen. In der Tat gehen Sie den Weg eines der größten Statistiker der Geschichte, und mehr als einige der anderen Größen starben in der Hoffnung auf eine Lösung dieses Problems. Wenn es gefunden würde, würde es Nullhypothesenmethoden in Bezug auf die Arten von Problemen, die sie lösen könnten, mit Bayes'schen Methoden gleichsetzen. In der Tat würde es an Bayes vorbeischieben, es sei denn, es gab echte Vorinformationen.
Sie sollten auch vorsichtig mit Ihrer Aussage sein, dass ein p-Wert eine höhere Wahrscheinlichkeit für die Alternative anzeigt. Das gilt nur für die Fisherian Likelihoodist School. In der Pearson-Neyman Frequentist School ist das überhaupt nicht wahr. Ihre Wette unten scheint eine Pearson-Neyman-Wette zu sein, während Ihr p-Wert nicht kompatibel ist, da er von der Fischerschule stammt.
Um gemeinnützig zu sein, gehe ich davon aus, dass in Ihrem Beispiel keine Publikationsverzerrung vorliegt und daher nur signifikante Ergebnisse in Zeitschriften erscheinen, die eine hohe Rate falscher Entdeckungen verursachen. Ich behandle dies als Zufallsstichprobe aller durchgeführten Studien, unabhängig von den Ergebnissen. Ich würde argumentieren, dass Ihre Wettquoten im klassischen Sinne von de Finetti nicht kohärent wären.
In de Finettis Welt ist eine Wette kohärent, wenn der Buchmacher nicht von Spielern gespielt werden kann, so dass sie einen sicheren Verlust erleiden. In der einfachsten Konstruktion ist es wie die Lösung für das Problem des Schneidens des Kuchens. Eine Person schneidet das Stück in zwei Hälften, die andere Person wählt das gewünschte Stück aus. Bei dieser Konstruktion würde eine Person die Preise für die Wetten für jede Hypothese angeben, aber die andere Person würde die Wette entweder kaufen oder verkaufen. Im Wesentlichen könnten Sie die Null leerverkaufen. Um optimal zu sein, müssten die Chancen streng fair sein. P-Werte führen nicht zu fairen Gewinnchancen.
Um dies zu veranschaulichen, betrachten Sie die Studie von Wetzels et al. Unter http://ejwagenmakers.com/2011/WetzelsEtAl2011_855.pdf
Das Zitat dafür ist: Ruud Wetzels, Dora Matzke, Michael D. Lee, Jeffrey N. Rounder, Geoffrey J. Iverson und Eric-Jan Wagenmakers. Statistische Evidenz in der experimentellen Psychologie: Ein empirischer Vergleich mit 855 t-Tests. Perspektiven der Psychologie. 6 (3) 291-298. 2011
Dies ist ein direkter Vergleich von 855 veröffentlichten t-Tests unter Verwendung von Bayes-Faktoren, um das Problem der vorherigen Verteilung zu umgehen. In 70% der p-Werte zwischen 0,05 und 0,01 waren die Bayes-Faktoren bestenfalls anekdotisch. Dies liegt an der mathematischen Form, mit der Frequentisten das Problem lösen.
Nullhypothesenmethoden setzen voraus, dass das Modell wahr ist, und verwenden aufgrund ihrer Konstruktion eher eine statistische Minimax-Verteilung als eine Wahrscheinlichkeitsverteilung. Beide Faktoren wirken sich auf Unterschiede zwischen Bayes'schen und nicht-Bayes'schen Lösungen aus. Stellen Sie sich eine Studie vor, in der die Bayes'sche Methode die hintere Wahrscheinlichkeit einer Hypothese mit drei Prozent bewertet. Stellen Sie sich vor, der p-Wert liegt unter fünf Prozent. Beides trifft zu, da drei Prozent weniger als fünf Prozent sind. Trotzdem ist der p-Wert keine Wahrscheinlichkeit. Es gibt nur den Maximalwert an, der die Wahrscheinlichkeit sein kann, die Daten zu sehen, nicht die tatsächliche Wahrscheinlichkeit, dass eine Hypothese wahr oder falsch ist. In der Tat können Sie bei der p-Wert-Konstruktion nicht zwischen zufälligen Effekten mit einer wahren Null und einer falschen Null mit guten Daten unterscheiden.
Wenn Sie sich die Wetzel-Studie ansehen, werden Sie feststellen, dass es sehr offensichtlich ist, dass die durch die p-Werte implizierten Quoten nicht mit den durch das Bayes'sche Maß implizierten Quoten übereinstimmen. Da das Bayes'sche Maß sowohl zulässig als auch kohärent ist und das nicht-Bayes'sche nicht kohärent ist, ist es nicht sicher, die Abbildung der p-Werte auf die wahren Wahrscheinlichkeiten anzunehmen. Die erzwungene Annahme, dass die Null gültig ist, liefert gute Abdeckungswahrscheinlichkeiten, erzeugt jedoch keine guten Spielwahrscheinlichkeiten.
Um ein besseres Gefühl dafür zu bekommen, warum, betrachten Sie Cox 'erstes Axiom, dass die Plausibilität einer Hypothese durch eine reelle Zahl beschrieben werden kann. Dies bedeutet implizit, dass alle Hypothesen eine reelle Zahl haben, die an ihre Plausibilität gebunden ist. Bei Nullhypothesenmethoden hat nur die Null eine reelle Zahl, die an ihre Plausibilität gebunden ist. Die alternative Hypothese hat keine Messung durchgeführt und ist sicherlich nicht die Ergänzung zur Wahrscheinlichkeit, die Daten zu beobachten, vorausgesetzt, die Null ist wahr. In der Tat, wenn die Null wahr ist, dann ist das Komplement durch Annahme ohne Rücksicht auf die Daten falsch.
Wenn Sie die Wahrscheinlichkeiten mit p-Werten als Grundlage für Ihre Messung konstruieren würden, wäre der Bayes'sche mit Bayes'schen Messungen immer in der Lage, einen Vorteil gegenüber Ihnen zu erzielen. Wenn der Bayesianer die Gewinnchancen festlegen würde, würde die Entscheidungstheorie von Pearson und Neyman eine Erklärung über die Wette liefern oder nicht wetten, aber sie könnten den zu wettenden Betrag nicht definieren. Da die Bayes'schen Gewinnchancen fair waren, wäre der erwartete Gewinn aus der Anwendung der Pearson- und Neyman-Methode Null.
In der Tat ist die Wetzel-Studie genau das, wovon Sie sprechen, aber mit 145 weniger Wetten. Wenn Sie sich Tabelle drei ansehen, werden Sie einige Studien sehen, in denen der Frequentist die Null ablehnt, der Bayesianer jedoch feststellt, dass die Wahrscheinlichkeit die Null bevorzugt.
quelle
Eine frequentistische Analyse kann Ihnen nicht die Wahrscheinlichkeit geben, dass eine bestimmte Hypothese wahr (oder falsch) ist, da sie keine langfristige Häufigkeit hat (entweder wahr oder nicht), sodass wir ihr keine Wahrscheinlichkeit zuweisen können (außer vielleicht 0 oder 1) ). Wenn Sie die Wahrscheinlichkeit wissen möchten, dass eine bestimmte Hypothese wahr ist, müssen wir ein Bayes'sches Gerüst anwenden (wo dies einfach ist, müssen wir nur die vorherigen Wahrscheinlichkeiten usw. berücksichtigen).
Frequentisten können optimale Strategien finden, um auf Nullhypothesentests ( Neyman-Pearson- Framework) zu reagieren, aber sie können dies nicht in eine Wahrscheinlichkeit übersetzen, dass die Hypothese wahr ist, sondern nur aufgrund ihrer Definition einer Wahrscheinlichkeit.
quelle
Das Problem in Ihrem Setup ist das Oracle. Es kommt normalerweise nicht dazu, die Wetten zu begleichen. Angenommen, Sie wetten, dass die Wahrscheinlichkeit, dass Rauchen Krebs verursacht, 97% beträgt. Wann wird dieses Orakel kommen, um die Wette zu begleichen? Noch nie. Wie würden Sie dann beweisen, dass Ihre optimale Strategie optimal ist?
Wenn Sie jedoch ein Oracle entfernen und andere Agenten wie Konkurrenten und Kunden einführen, gibt es eine optimale Strategie. Ich fürchte, es wird jedoch nicht auf p-Werten basieren. Es wäre ähnlicher wie Gossets Ansatz mit Verlustfunktionen. Zum Beispiel setzen Sie und Ihre Konkurrenten im Agrarsektor darauf, dass die Wettervorhersage wahr ist. Wer eine bessere Strategie wählt, wird mehr Geld verdienen. In Oracle besteht keine Notwendigkeit, und die Wetten werden auf den Märkten abgewickelt. Sie können Ihre Strategie hier nicht auf p-Werte stützen, sondern müssen Verluste und Gewinne in Dollar berücksichtigen.
quelle
Einen Thread zu p-Werten finden Sie unter Missverständnis eines P-Werts?
quelle