Warum ist es schlecht, den Schülern beizubringen, dass p-Werte die Wahrscheinlichkeit sind, dass Befunde zufällig sind?

Kann jemand bitte eine nette kurze Erklärung anbieten, warum es keine gute Idee ist, den Schülern beizubringen, dass ein p-Wert das Problem ist (ihre Ergebnisse sind zufällig). Ich verstehe, dass ein p-Wert das Problem ist (extremere Daten erhalten | Nullhypothese ist wahr).

Mein wirkliches Interesse ist, was es schadet , ihnen zu sagen, dass es das erstere ist (abgesehen von der Tatsache, dass es einfach nicht so ist).

Ich habe eine andere Interpretation der Bedeutung der falschen Aussage als @Karl. Ich denke, dass es sich um eine Aussage zu den Daten handelt und nicht um die Null. Ich verstehe es so, dass ich nach der Wahrscheinlichkeit frage, Ihre Schätzung aufgrund des Zufalls zu erhalten. Ich weiß nicht, was das bedeutet - es ist keine genau festgelegte Behauptung.

Ich verstehe jedoch, was mit der Wahrscheinlichkeit gemeint ist, dass meine Schätzung zufällig erfolgt, da die wahre Schätzung einem bestimmten Wert entspricht. Zum Beispiel kann ich verstehen, was es bedeutet, einen sehr großen Unterschied in der Durchschnittshöhe zwischen Männern und Frauen zu erreichen, da ihre Durchschnittshöhen tatsächlich gleich sind. Das ist gut spezifiziert. Und das gibt der p-Wert. Was in der falschen Aussage fehlt, ist die Bedingung, dass die Null wahr ist.

Nun könnten wir einwenden, dass dies keine perfekte Aussage ist (die Chance, einen genauen Wert für einen Schätzer zu erhalten, ist zum Beispiel 0). Aber es ist weitaus besser als die Art und Weise, wie die meisten einen p-Wert interpretieren würden.

Der entscheidende Punkt, den ich immer wieder sage, wenn ich Hypothesentests unterrichte, ist "Schritt eins ist die Annahme, dass die Nullhypothese wahr ist. Alles wird unter dieser Annahme berechnet." Wenn sich die Leute daran erinnern, ist das ziemlich gut.

Ich habe diese Interpretation oft gesehen (vielleicht öfter als die richtige). Ich interpretiere "ihre Ergebnisse sind zufällig" als " ist wahr", und das, was sie wirklich sagen, ist [was eigentlich ; Sagen Sie: "Wenn man bedenkt, was wir gesehen haben (die Daten), wie hoch ist die Wahrscheinlichkeit, dass nur der Zufall funktioniert?"] Dies kann eine aussagekräftige Aussage sein (wenn Sie bereit sind, Prioritäten zuzuweisen und Bayes zu tun), aber es ist nicht die p -Wert . $\text{H}_0$$\Pr(\text{H}_0)$$\Pr(\text{H}_0 | \text{data})$

$\Pr(\text{H}_0 | \text{data})$ kann sich stark vom p-Wert unterscheiden, und daher kann es ernsthaft irreführend sein, einen p-Wert auf diese Weise zu interpretieren.

Die einfachste Illustration: Sagen wir, der Prior, ist ziemlich klein, aber man hat ziemlich wenig Daten, und so ist der p-Wert groß (sagen wir 0,3), aber der Posterior, wäre noch recht klein. [Aber vielleicht ist dieses Beispiel nicht so interessant.]Pr ( H 0 | Daten $\Pr(H_0)$$\Pr(\text{H}_0|\text{data})$

Ich werde eine späte Antwort aus der (Ex-) Studentenperspektive hinzufügen: IMHO kann der Schaden nicht von seinem Unrecht getrennt werden.

Diese Art falscher "didaktischer Annäherungen / Abkürzungen" kann eine Menge Verwirrung bei Schülern hervorrufen, die erkennen, dass sie die Aussage nicht logisch verstehen können, aber unter der Annahme, dass das, was ihnen beigebracht wird, richtig ist, erkennen sie nicht, dass sie sie nicht verstehen können weil es nicht richtig ist.

Dies betrifft nicht Schüler, die sich nur die Regeln merken, die ihnen präsentiert wurden. Aber es erfordert Schüler, die durch Verstehen lernen, um gut genug zu sein

• von sich aus die richtige Lösung finden und
• Sei gut genug, damit sie sicher sein können, dass sie Recht haben
• und schlussfolgern, dass ihnen Bullshit beigebracht wird (aus angeblich didaktischen Gründen).

Ich sage nicht, dass es keine gültigen didaktischen Abkürzungen gibt. Aber IMHO, wenn eine solche Abkürzung genommen wird, sollte dies erwähnt werden (zB als "zur Vereinfachung des Arguments nehmen wir an, dass ...").
In diesem speziellen Fall halte ich es jedoch für zu irreführend, um von Nutzen zu sein.

Unter direkter Bezugnahme auf die Frage: Wo ist der Schaden?

Meiner Meinung nach liegt die Antwort auf diese Frage in der Umkehrung der Aussage: "Ein p-Wert ist die Wahrscheinlichkeit, dass die Befunde zufällig sind." Wenn man das glaubt, glaubt man wahrscheinlich auch Folgendes: "[1- (p-Wert)] ist die Wahrscheinlichkeit, dass die Ergebnisse NICHT zufällig sind."

Der Schaden liegt dann in der zweiten Aussage, da diese Aussage angesichts der Art und Weise, wie das Gehirn der meisten Menschen arbeitet, stark überschätzt, wie sicher wir in den spezifischen Werten eines geschätzten Parameters sein sollten.

Hier ist ein einfaches Beispiel, das ich benutze:

Angenommen, unsere Nullhypothese lautet, dass wir eine 2-köpfige Münze werfen (also prob (heads) = 1). Jetzt werfen wir die Münze einmal um und erhalten Köpfe. Der p-Wert für diesen Wert ist 1. Bedeutet das, dass wir eine Chance von 100% haben, eine 2-köpfige Münze zu haben?

Das Knifflige ist, dass der p-Wert 0 gewesen wäre und die Wahrscheinlichkeit, eine 2-köpfige Münze zu haben, 0 gewesen wäre, wenn wir einen Schwanz geworfen hätten. In diesem Fall stimmen sie also überein, aber nicht die obigen. Der p-Wert von 1 oben bedeutet nur, dass das, was wir beobachtet haben, vollkommen mit der Hypothese einer 2-köpfigen Münze übereinstimmt, aber es beweist nicht, dass die Münze 2-köpfig ist.

Wenn wir häufig auftretende Statistiken erstellen, ist die Nullhypothese entweder Wahr oder Falsch (wir wissen nur nicht, welche), und (häufig auftretende) Wahrscheinlichkeitsaussagen über die Nullhypothese sind bedeutungslos. Wenn Sie über die Wahrscheinlichkeit der Hypothese sprechen möchten, führen Sie die richtige Bayes'sche Statistik durch, verwenden Sie die Bayes'sche Definition der Wahrscheinlichkeit, beginnen Sie mit einem Prior und berechnen Sie die hintere Wahrscheinlichkeit, dass die Hypothese wahr ist. Verwechseln Sie einen p-Wert nur nicht mit einem bayesianischen posterior.

OK, eine andere, etwas andere Einstellung:

Ein erstes Grundproblem ist der Ausdruck "aufgrund von [zufälligen] Zufällen". Die Idee des nicht näher bezeichneten Zufalls ist für Studenten selbstverständlich, aber es ist gefährlich, klar über Unsicherheit nachzudenken, und katastrophal, vernünftige Statistiken zu erstellen. Bei so etwas wie einer Folge von Münzwürfen ist leicht anzunehmen, dass der Zufall durch das Binomial-Setup mit einer Wahrscheinlichkeit von 0,5 beschrieben wird. Es ist sicher eine gewisse Natürlichkeit, aber statistisch gesehen ist es nicht natürlicher als die Annahme von 0,6 oder etwas anderem. Und für andere weniger "offensichtliche" Beispiele, z. B. mit realen Parametern, ist es äußerst wenig hilfreich, darüber nachzudenken, wie "Chance" aussehen würde.

In Bezug auf die Frage lautet die Schlüsselidee, zu verstehen, welche Art von "Chance" von H0 beschrieben wird, dh welche tatsächlichen Wahrscheinlichkeits- / DGP-H0-Namen. Sobald dieses Konzept umgesetzt ist, hören die Schüler endlich auf, über zufällige Ereignisse zu sprechen, und beginnen zu fragen, was H0 eigentlich ist. (Sie finden auch heraus, dass die Dinge mit einer Vielzahl von Hs konsistent sein können, so dass sie durch invertierte Tests einen Vorsprung bei den Konfidenzintervallen erhalten).

Das zweite Problem ist, dass Sie (imho) immer zuerst die Datenkonsistenz mit H0 erklären sollten, wenn Sie auf dem Weg zur Fisher-Definition von p-Werten sind, da der Punkt von p darin besteht, das zu sehen und nicht zu interpretieren der Schwanzbereich als eine Art "zufällige" Aktivität (oder ehrlich gesagt überhaupt zu interpretieren). Dies ist natürlich nur eine Frage der rhetorischen Betonung, aber es scheint zu helfen.

Kurz gesagt, der Schaden ist, dass diese Art der Beschreibung der Dinge sich nicht auf ein nicht-triviales Modell verallgemeinert, über das sie später nachdenken könnten. Im schlimmsten Fall kann es nur zu dem Gefühl des Mysteriums beitragen, dass das Studium der Statistik bereits bei einer Gruppe von Menschen auftritt, auf die sich solche bowdlerisierten Beschreibungen richten.

Wenn ich auseinander nehme, "p-Wert ist die Wahrscheinlichkeit, dass ein Effekt zufällig ist", scheint dies darauf hinzudeuten, dass der Effekt zufällig ist. Aber jeder Effekt ist teilweise zufällig. In einer Statistikstunde, in der erklärt wird, wie wichtig es ist, zufällige Variabilität zu untersuchen, ist dies eine ziemlich magische und weitreichende Aussage. Es erfüllt p-Werte mit Kräften, die sie nicht haben.

Wenn Sie den Zufall in einem bestimmten Fall als Nullhypothese definieren, geben Sie an, dass der p-Wert die Wahrscheinlichkeit ergibt, dass der beobachtete Effekt durch die Nullhypothese verursacht wird. Das scheint der richtigen Aussage furchtbar nahe zu sein, aber die Behauptung, dass eine Bedingung für die Wahrscheinlichkeit die Ursache für diese Wahrscheinlichkeit ist, greift erneut zu weit. Die korrekte Aussage, dass der p-Wert die Wahrscheinlichkeit des Effekts ist, wenn die Nullhypothese wahr ist, schreibt dem Nulleffekt keine Ursache zu. Die Ursachen sind verschieden, einschließlich der wahren Wirkung, der Variabilität um die Wirkung und der zufälligen Chance. Der p-Wert misst nicht die Wahrscheinlichkeit eines dieser Werte.