Was ist das Konfidenzintervall eines p-Wertes?

7

Der Wert wird verwendet, um anzugeben, wie stark wir gegen eine Hypothese annehmen können. Es ist klar, dass dieser Wert selbst aus Daten geschätzt wird. Wenn neue Daten unter denselben Bedingungen gesammelt werden, ist es sehr unwahrscheinlich , dass der neue Wert der gleiche ist.ppp

Halsey, Curran-Everett, Vowler & Drummond (2015) haben in einem Kommentar zu Nature Methods gezeigt, dass die Unsicherheit um einen Wert ziemlich groß sein kann. In einer Antwort gaben Lazzeroni, Lu & Belitskaya-Lévy (2016, gleiche Zeitschrift) ein Beispiel für einen beobachteten Wert von 0,049 an, dessen Konfidenzintervall von 0,00000008 bis 0,99 reicht.pp

Meine Frage ist: Kennen wir die Stichprobenverteilung von Werten? Demnach hängt es nicht von der Stichprobengröße ab (und vermutlich von der Standardabweichung der Stichprobe, da alle diese zur "Standardisierung" der Teststatistik verwendet werden). Vermutlich könnte es vom Testverfahren abhängen?p

Ich weiß, dass wenn wahr ist, die Verteilung der Werte über den Bereich von 0 bis 1 gleichmäßig ist (kann mich aber nicht erinnern, wo ich das gelernt habe). Da immer unangemessener wird, erreicht die Verteilung der Werte einen Spitzenwert und lehnt sich über die 0% -Wahrscheinlichkeiten (für Linksschwanz-Tests).H0pH0p

Mit Bootstrap ist es ziemlich einfach, eine visuelle Darstellung der Verteilung der Werte zu erhalten. Eine zufriedenstellendere Antwort wäre jedoch eine Formel (geschlossene Form ist sogar noch besser), damit wir genau wissen, welche Eigenschaften diese Verteilung und fortan die Breite des Konfidenzintervalls beeinflussen.p

Kennen Sie eine solche Formel oder ob es überhaupt möglich ist, eine zu haben?

hypothesis-testing confidence-interval p-value bootstrap Denis Cousineau
quelle
2
Ich glaube, Sie möchten ein Vorhersageintervall für zukünftige p-Werte, die unter den gleichen Bedingungen wie der ursprüngliche p-Wert erstellt wurden . Vielleicht meinen Sie eher ein Konfidenzintervall als ein Vorhersageintervall, aber über ein Konfidenzintervall für einen beobachteten Wert zu sprechen, ist für mich sehr verwirrend. Unabhängig davon, ob Sie Vorhersage oder Konfidenzintervall gemeint haben, ich bin mir ziemlich sicher, dass Sie angeben möchten, dass sich das Intervall auf den Mittelwert zukünftiger p-Werte aus zukünftigen Studien bezieht.
Cliff AB
2
@Cliff Wenn Sie akzeptieren, dass es eine Stichprobenverteilung von p-Werten gibt (was unumstritten erscheint), impliziert die Tatsache, dass p-Werte begrenzt sind, dass diese Stichprobenverteilung eine Erwartung hat. Ihre Erwartung ist offensichtlich eine Eigenschaft der zugrunde liegenden Verteilung im Kontext eines bestimmten Modells und einer bestimmten Teststatistik. Angesichts dessen sieht es so aus, als könnte diese Erwartung vernünftigerweise als eine Eigenschaft der Verteilung selbst angesehen werden, die es einem ermöglicht, alle herkömmlichen Konzepte der Schätzung, des Schätzers und des Konfidenzintervalls anzuwenden.
whuber
3
Das von OP erwähnte Papier von Halsey et al. Und die Gründe dafür werden in diesem aktuellen Thread ausführlich erörtert: stats.stackexchange.com/questions/250269 - was ich sagen würde, ist vielleicht sogar ein Duplikat (@whuber). Die allgemeine Schlussfolgerung dieses Threads lautet, dass Halsey et al. (Die ihre Behauptungen aus früheren Arbeiten von Cumming entlehnen) schlampig sind und ihre Annahmen nicht angeben. Ich mag ihr Papier nicht.
Amöbe
2
@whuber Ja, ich stimme zu. Dennoch könnte es für das OP nützlich sein, diese Diskussionen zu lesen.
Amöbe
3
@Amoeba Sei vorsichtig: Man erstellt kein CI für eine Statistik; Ein CI bezieht sich auf einen Parameter. In klassischen Situationen (Z-Tests, t-Tests usw.) besteht eine Eins-zu-Eins-Entsprechung zwischen der Statistik und dem p-Wert. In dem Maße, in dem eine Statistik etwas schätzen kann (normalerweise eine Effektgröße), muss ein p-Wert erst recht auch etwas schätzen. Aber was es schätzen könnte, hat nichts damit zu tun, wie man ein CI konstruiert. Ein plausibler Kandidat für seinen Schätzwert ist der erwartete p-Wert (für ein gegebenes Modell, eine gegebene Statistik und eine gegebene Effektgröße). Die Hauptschwierigkeit, so scheint es mir,
whuber

Antworten:

3

Das Problem ist, dass der ap-Wert keine Schätzung eines Parameters ist, sodass die Idee eines Konfidenzintervalls nicht gilt. Es ist auch nicht sinnvoll, über die Unsicherheit bezüglich des ap-Werts zu sprechen. Der p-Wert ist sicher; Die Schlussfolgerung, die Sie daraus ziehen, ist nicht.

David Lane
quelle
5
Sie scheinen die Prämissen der Frage zu leugnen, einschließlich der Ansicht, dass der p-Wert unsicher ist. Das wird kontrovers sein, denn es ist bekannt - und intuitiv offensichtlich -, dass bei Wiederholung eines Experiments mit ziemlicher Sicherheit ein anderer p-Wert auftritt. Möglicherweise finden Sie den Thread unter stats.stackexchange.com/questions/181611 etwas relevant.
whuber
Hallo @ David, ich freue mich, Sie auf StackExchange zu sehen. Obwohl ich Ihnen zustimme, dass p im Allgemeinen kein Parameter ist, können wir uns sicher eine Welt vorstellen, in der Populationen durch einen Parameter . In dieser Welt hätten alle Proben eine konstante Größe und alle Probenahmemethoden wären ebenfalls konstant. In dieser unwahrscheinlichen Welt (wenn Sie das Wortspiel zulassen) ist ein Parameter und , wahrscheinlich die beste, unvoreingenommene Schätzung von . Können wir, wenn ich meine Frage relativ zu dieser Welt formuliere, ein Konfidenzintervall um ein beobachtetes ? ππp≡π^πp
Denis Cousineau
Hallo @Denis. Das macht sehr viel Sinn. Ich denke jedoch, dass die Kritik an Signifikanztests (die andere machen), dass p-Werte, die sich über Replikationen unterscheiden, nicht informativ sind, falsch ist. Natürlich liefern unterschiedliche Replikationen unterschiedliche Grade an Aussagekraft über die Richtung eines Effekts (ich gehe davon aus, dass der Effekt fast nie 0 ist). Das hat keinen Einfluss auf die Aussagekraft einer bestimmten Studie.
David Lane
2
Sicher, wie @ David sagt, sind informativ. Sie sind nur variabel. Wenn wir ein Konfidenzintervall erhalten und feststellen könnten, dass das gesamte Intervall sehr eng und nahe Null ist, würde dies einer Schlussfolgerung zusätzliche Stärke verleihen. p
Denis Cousineau
@whuber Natürlich ist der p-Wert vor dem Experiment ungewiss. Die wichtige Unsicherheit ist jedoch die Richtung des Effekts, nicht der p-Wert. Der p-Wert ist ein Werkzeug zur Führung der Inferenz, nicht das Objekt der Inferenz. Aus diesem Grund ist es nicht sinnvoll zu sagen, dass die Daten Hinweise auf einen signifikanten Effekt liefern.
David Lane