Relative Größe der p-Werte bei verschiedenen Stichprobengrößen

12

Wie ändert sich die relative Größe des ap-Werts bei verschiedenen Stichprobengrößen? Wenn Sie beispielsweise bei n = 45 für eine Korrelation und dann bei n = 120 den gleichen p-Wert von 0,20 erhalten, was wäre die relative Größe des p-Werts für den zweiten Test im Vergleich zum ursprünglichen p-Wert wenn n = 45 ?p=0.20n=45n=120n=45

Nick Stauner
quelle
1
Bitte erläutern Sie, in welchem ​​Sinne Sie die Stichprobengröße ändern. Versuchen Sie, p-Werte für zwei unabhängige Experimente verschiedener Dinge zu vergleichen, oder erwägen Sie stattdessen vielleicht die Möglichkeit, eine Stichprobe der Größe durch Sammeln von 120 bis 45 zusätzlichen unabhängigen Beobachtungen zu erweitern? 4512045
whuber
Leider habe ich nicht mehr Informationen als die in der Frage gegeben
1
Dies ist für ein Thema?
Glen_b -State Monica

Antworten:

19

Werfen Sie eine Münze, von der Sie vermuten, dass sie zu oft auftaucht.

Sie führen ein Experiment durch, gefolgt von einem einseitigen Hypothesentest. In zehn Würfen erhalten Sie 7 Köpfe. Etwas, das mindestens 50% beträgt , könnte mit einer fairen Münze leicht passieren. Da ist nichts Ungewöhnliches.

Wenn Sie stattdessen 700 Köpfe in 1000 Würfen erhalten, ist das Ergebnis mindestens so weit von der Fairness entfernt, wie es für eine faire Münze erstaunlich wäre.

70% Köpfe sind also für eine faire Münze im ersten Fall überhaupt nicht seltsam und für eine faire Münze im zweiten Fall sehr seltsam. Der Unterschied ist die Stichprobengröße.

Mit zunehmender Stichprobengröße nimmt unsere Unsicherheit darüber ab, wo der Populationsmittelwert liegen könnte (der Anteil der Köpfe in unserem Beispiel). Größere Stichproben stimmen also mit kleineren Bereichen möglicher Populationswerte überein - mehr Werte werden tendenziell "ausgeschlossen", wenn die Stichproben größer werden.

Je mehr Daten wir haben, desto genauer können wir bestimmen, wo der Populationsmittelwert liegen könnte. Ein fester Wert des falschen Mittelwerts erscheint daher weniger plausibel, wenn unsere Stichproben größer werden. Das heißt, p-Werte neigen dazu, mit zunehmender Probengröße kleiner zu werden, es sei denn, H0 ist wahr .

Glen_b - Monica neu starten
quelle
Danke :) Und wie passt das dazu, den gleichen p-Wert (nicht kleiner) mit einer größeren Stichprobe zu erhalten?
1
Ihre Frage besagt nicht, dass der p-Wert der gleiche ist, sondern dass Sie dachten, er wäre der gleiche. Ist das eine neue Frage oder war Ihnen nur besonders unklar, was Sie wollten? Auf jedem Fall, es kann passieren - wenn die größere Probe gerade genug , um näher an , was Sie unter der Null erwarten würden , es zu machen , so. Stellen Sie sich vor, Sie hatten 8 Köpfe bei 25 Würfen (32% Köpfe), aber 14 Köpfe bei 39 Würfen (ungefähr 36% Köpfe). Der p-Wert für einen Test von ist nahezu gleich. P(H)=0.5
Glen_b -State Monica
1
Ihre bearbeitete Frage ist jetzt sehr verwirrend. Ich dachte, ich hätte verstanden, was Sie gefragt haben, jetzt habe ich absolut keine Ahnung, wovon Sie sprechen. (Anscheinend sah es so aus, als würde es gefragt, was es nicht verlangte.)
Glen_b - Monica am
1
Ich weiß nicht, was dort mit dem Ausdruck "relativer p-Wert" gemeint ist.
Glen_b -State Monica
1
Für den anonymen Redakteur: 700 Köpfe in 1000 Würfen sind weit mehr als nötig, um den Punkt zu bestimmen. es sind bereits 12,65 Standardabweichungen vom Mittelwert. Dies entspricht einem p-Wert von . Es ist bereits ein extremes Beispiel. Wenn Sie also alles mit 1000 multiplizieren, wird dieser Punkt nicht besser. Selbst 70 von 100 wären mehr als genug. 1.7×1037
Glen_b -State Monica
8

Ich stimme @Glen_b zu, möchte es nur aus einem anderen Blickwinkel erklären.

Lassen Sie uns das Beispiel der Mittelwertdifferenz in zwei Populationen nennen. Ablehnen entspricht der Aussage, dass 0 nicht im Konfidenzintervall für die Mittelwertdifferenz liegt. Dieses Intervall wird mit n (per Definition) kleiner, so dass es für jeden Punkt (in diesem Fall die Null) immer schwieriger wird, sich im Intervall zu befinden, wenn n wächst. Da die Zurückweisung durch das Konfidenzintervall mathematisch der Zurückweisung durch den p-Wert entspricht, wird der p-Wert mit n kleiner.H0

Es wird der Moment kommen, in dem Sie ein Intervall wie , das anzeigt, dass die erste Population tatsächlich einen größeren Mittelwert als die zweite Population hat, aber dieser Unterschied ist so gering, dass es Ihnen nichts ausmacht. Sie werden H 0 ablehnen , aber diese Ablehnung bedeutet im wirklichen Leben nichts. Dies ist der Grund, warum p-Werte nicht ausreichen, um ein Ergebnis zu beschreiben. Man muss immer ein Maß für die GRÖSSE des beobachteten Unterschieds angeben.[0.0001,0.0010]H0

Rufo
quelle
3

Der Wert für einen einer dass eine gegebene ungleich Null in der Population tatsächlich Null ist, nimmt mit zunehmender Stichprobengröße ab. Dies liegt daran, dass eine größere Stichprobe, die einen konsistenten Beweis für diesen Effekt ungleich Null liefert, mehr Beweise gegen die Null liefert als eine kleinere Stichprobe. Eine kleinere Stichprobe bietet mehr Möglichkeiten für zufällige Stichprobenfehler, um Schätzungen der Effektgröße zu beeinflussen, wie die Antwort von @ Glen_b zeigt. Die Regression auf den Mittelwert verringert den Stichprobenfehler mit zunehmender Stichprobengröße. Eine auf der zentralen Tendenz einer Stichprobe basierende Schätzung der Effektgröße verbessert sich mit der Größe der Stichprobe nach dem zentralen Grenzwertsatz . Deshalb ppp- dh die Wahrscheinlichkeit, mehr Stichproben derselben Größe und mit Effektgrößen zu erhalten, die mindestens so stark sind wie die Ihrer Stichprobe, wenn Sie sie zufällig aus derselben Population ziehen, unter der Annahme, dass die Effektgröße in dieser Population tatsächlich Null ist - nimmt mit der Stichprobengröße ab erhöht sich und die Effektgröße des Samples bleibt unverändert. Wenn die Effektgröße abnimmt oder die Fehlervariation mit zunehmender Stichprobengröße zunimmt, kann die Signifikanz gleich bleiben.

x={1,2,3,4,5}}y={2,1,2,1,3}}. Hier, Pearsonr=.378,t(3)=.71,p=.53. Wenn ich die Daten dupliziere und die Korrelation von testex={1,2,3,4,5,1,2,3,4,5} and y={2,1,2,1,3,2,1,2,1,3}, r=.378 still, but t(3)=1.15,p=.28. It doesn't take many copies (n) to approach limnp(n)=0, shown here:

Nick Stauner
quelle
When you reference the CLT I think you really are meaning to reference the law of large numbers. The CLT gives us approximate normality of the sampling distribution - which you don't really mention at all.
Dason