Welche Auswirkungen hat die Verdoppelung einer Stichprobengröße auf einen p-Wert?

7

Unter der Annahme, dass es sich um eine zugrunde liegende Beziehung zwischen zwei Variablen in einer OLS-Regression handelt [Nullhypothesentest], wie wirkt sich dann die Verdoppelung der Stichprobengröße auf den p-Wert aus? (unter der Annahme, dass die ursprüngliche Stichprobe repräsentativ für die Bevölkerung ist und die nachfolgende Stichprobe ebenfalls repräsentativ ist).

Natürlich ist mir bewusst, dass eine Erhöhung der Stichprobengröße den p-Wert verringern sollte, solange eine zugrunde liegende Beziehung besteht, aber ich bin daran interessiert, die Art der Beziehung zwischen p und n besser zu verstehen.

Kyrenia
quelle
1
Ich gehe davon aus, dass Sie über den Wert nachdenken, der mit dem ist, der für jeden Regressionskoeffizienten berechnet wird. Ich habe keine Antwort, aber wenn Sie dieses Problem selbst untersuchen möchten, sollten Sie berücksichtigen, dass die Stichprobengröße auf zwei Arten auf diesen Wert einwirkt . Erstens bedeutet erhöhtes N einen verringerten Standardfehler und folglich ein höheres . Zweitens erhöht für ein gegebenes Erhöhen von N df (gelegentlich als in der Verteilung bezeichnet), was den mit diesem verbundenen Wert erhöht . ptpttvtpt
Ian_Fin
2
@Ian_Fin, Erhöhen der Freiheitsgrade mit Verringern des p-Werts, alle anderen gleich gehalten.
not_bonferroni
@not_bonferroni Guter Ort! Ich muss darüber nachgedacht haben, dass Dinge "immer bedeutender" werden und das falsche Wort eingegeben haben.
Ian_Fin
1
Durch Erhöhen der Stichprobengröße wird der p-Wert tendenziell erhöht , wenn die Nullhypothese wahr ist, und verringert , wenn die Null falsch ist. Dies sind jedoch nur Tendenzen, da p-Werte zufällig sind. Insbesondere gibt es zwei sehr unterschiedliche Arten, diese Frage zu lesen: Eine betrifft das Verhalten von p-Werten a priori und die andere die Vorhersage von Änderungen der p-Werte nach Durchführung einer Regression für einen bestimmten Datensatz : mit anderen Worten, abhängig von a gegebener p-Wert. Welche Interpretation ist die beabsichtigte?
whuber
@whuber: warum sollten Sie erwarten, dass die p-Werte zunehmen, wenn die Null wahr ist? Angenommen, wenn alle klassischen Annahmen erfüllt sind, würden aus der t-Verteilung konstruierte p-Werte dazu führen, dass ich für jedes einheitliche Standard-p-Werte erwarte . n
Christoph Hanck

Antworten:

7

Für den T-Test haben wir Regeln wie "Durch Verdoppeln der Stichprobengröße wird die Teststatistik um erhöht ". Dies könnte Sie denken lassen, dass es eine einfache Beziehung zwischen Stichprobengröße und p-Wert gibt.2

Tatsächlich hängt die Beziehung zwischen Stichprobengröße und p-Wert von der Beziehung zwischen Stichprobengröße und Teststatistik und der Beziehung zwischen Teststatistik und p-Wert ab. Diese Beziehungen sind für jeden Test unterschiedlich.

Für den einfachsten Fall, den einseitigen Z-Test, können wir sehen, wie diese Beziehung aussieht. Angenommen, eine Zufallsvariable hat den Mittelwert und die Varianz . Nehmen wir an, wir testen, ob der Mittelwert von signifikant von abweicht . Die Teststatistik lautet .Xμσ2XνZ(x¯ν)nσ

Der p-Wert ist gleich eins minus der CDF der Statistik (dies setzt voraus, dass die Differenz zwischen den Mittelwerten positiv ist, ein ähnliches Argument funktioniert, wenn die Differenz negativ ist).Z

Für die Normalverteilung ist die CDF . Wobei erf (x) die Fehlerfunktion ist.Φ(t)=0.5+0.5erf(xμtσt2)

Unter der Nullhypothese des gleichen Mittels hat die Statistik einen Mittelwert und eine Varianz . Die tatsächliche Verteilung von hat einen Mittelwert aus und Varianz .Z01Z(x¯ν)nσ1

Die Effektgröße der Differenz zwischen den Mitteln ist . Rufen Sie die Effektgröße , dann wird der erwartete Wert von ist .(x¯ν)σbZbn

Für die CDF . Wobei erf (x) die Fehlerfunktion ist.ZΦ(z)=0.5+0.5erf(z2)

Natürlich ist die Statistik eine Zufallsvariable. Hier sehen wir uns nur die Beziehung zwischen Stichprobengröße und p-Wert für den erwarteten Wert von .ZZ

Daraus folgt, dass die CDF der StatistikZΦ(z)=0.5+0.5erf(bn2)

Dies ist die Beziehung zwischen dem p-Wert und der Stichprobengröße

p=0.50.5erf(bn2)

Die Beziehung variiert entsprechend dem Wert von . Für sehr große wir eine Reihenerweiterung verwenden, um das Grenzverhalten zu sehen. Laut Wolfram Alpha ist das:nn

limnp=e0.5b2n(1ebn+O(1(bn)2))

Das ist ein ziemlich schneller Abfall in Richtung 0. Es besteht eine große Abhängigkeit von der Effektgröße. Wenn der Unterschied zwischen den Mittelwerten größer ist, schrumpft der p-Wert natürlich schneller, wenn sich Ihre Abtastung verbessert.

Denken Sie auch hier daran, dass dies nur für den Z- und T-Test gilt und nicht für andere Tests.

Hugh
quelle
Grundprinzipien informieren uns, dass (1) p-Werte Zufallsgrößen sind ; (2) sie hängen von der Stichprobengröße ab; aber (3) sie hängen auch vom tatsächlichen Naturzustand ab - das heißt nicht nur davon, ob die Nullhypothese wahr oder falsch ist, sondern auch davon, welche spezifische Verteilung die Ergebnisse bestimmt. Da Ihre Antwort weder (1) noch (3) zu erkennen scheint, ist es schwierig festzustellen, wie informativ oder zuverlässig die Informationen sind.
whuber
@whuber Ich gebe zu, dass meine Notation schlecht ist, also ist es ein bisschen unklar. Ich erwähne (3), der Naturzustand ist die Effektgröße des Unterschieds zwischen den Bevölkerungsmitteln. Sie haben Recht mit (1), ich habe den p-Wert nicht wie eine Zufallsvariable behandelt, sondern nach einer Faustregel wie "Das Verdoppeln der Stichprobengröße führt dazu, dass die T-Statistik um zunimmt ". . Ich habe die Auswirkung der Stichprobengröße auf den erwarteten p-Wert untersucht. Gut, dass Sie darauf hingewiesen haben, damit ich dies für zukünftige Leser klarstellen kann. 2
Hugh
@Hugh die Frage des OP betraf Tests von Parametern aus OLS-Modellen, die direkt mit Z- oder T-Tests verbunden sind, wenn Wald-basierte Tests in Betracht gezogen werden. Können Sie jedoch sagen, ob die Standardfehler der Regressionskoeffizienten wie bei anderen Z- oder T-Tests direkt proportional zu einem Faktor von ? 1/n
AdamO
5

Untersuchen wir zunächst den Einfluss auf den t-Wert . Wir können dann sofort auf die Auswirkung auf den p-Wert schließen.

Dies lässt sich am besten anhand eines ausgewählten Simulationsbeispiels veranschaulichen, das die wichtigsten Merkmale veranschaulicht. Da wir als falsch betrachten (und im Wesentlichen Eigenschaften in Bezug auf die Leistung berücksichtigen), ist es sinnvoll, sich auf einen einseitigen Test (in der "richtigen" Richtung) zu konzentrieren, da das Betrachten des falschen Endes nicht sichtbar ist viel Action und wird uns nicht viel von Interesse erzählen.H0

Hier haben wir also eine Situation (bei n = 100), in der der Effekt groß genug ist, dass die Statistik manchmal signifikant ist. Wir fügen dieser ersten Stichprobe dann eine zweite Zeichnung aus derselben kontinuierlichen Verteilung von x-Werten (hier gleichmäßig, aber für den beobachteten Effekt nicht kritisch) derselben Größe wie die erste hinzu, was zu einer Verdoppelung der Stichprobengröße führt, jedoch vollständig einschließlich der ersten Probe.

Auftragung des t-Wertes für die Steigung mit der Erstprobe gegen die größere Probe

Was wir beobachten, ist nicht, dass der p-Wert sinkt, sondern dass er dazu neigt, zu sinken (mehr Punkte liegen über der diagonalen Linie als darunter); wir können sehen, dass die Variation der t-Werte abnimmt, so dass es im Bereich von 0 weniger gibt. Viele p-Werte steigen. Eine ganze Reihe von Proben, die nicht signifikant waren, wurden signifikant, wenn wir mehr Daten hinzufügten, aber einige, die signifikant waren, wurden unbedeutend.

[Hier betrachten wir die t-Statistik für den Steigungskoeffizienten in einer einfachen Regression, obwohl die Probleme qualitativ allgemeiner ähnlich sind.]

Ein Diagramm von p-Werten anstelle von t-Werten vermittelt im Wesentlichen die gleichen Informationen. Wenn Sie Markierungen in den richtigen Abständen auf den obigen Achsen platzieren, können Sie sie stattdessen mit p-Werten kennzeichnen ... aber oben (und rechts) werden niedrige p-Werte angezeigt und unten (/ links) markiert mit größeren p-Werten. [Das Zeichnen der p-Werte drückt einfach alles in die Ecke und es ist weniger klar, was los ist.]

Glen_b -State Monica
quelle
2

Wenn die jeweilige Null falsch ist, erwarten Sie im Allgemeinen einen Abfall der p-Werte wie in der folgenden Abbildung, in der ich durchschnittliche p-Werte aus einer kleinen Simulationsstudie für ein Vielfaches von Stichproben mit einer Größe n=25von bb*n=25bis bb*n=29*25für einen einfachen linearen Regressionskoeffizienten gleich anmelde bis 0,1 und Fehlerstandardabweichung von .σu=0.5

Da die p-Werte von unten durch Null begrenzt sind, muss der Zerfall letztendlich abgeflacht werden.

Das 90% -Konfidenzintervall (schattierter blauer Bereich) zeigt an, dass darüber hinaus die Variabilität der p-Werte auch mit der Stichprobengröße abnimmt.

Geben Sie hier die Bildbeschreibung ein

Wenn entweder kleiner oder größer ist, sind die p-Werte beim Erhöhen schneller nahe Null , so dass das Erscheinungsbild des Diagramms flacher wird.σunbb

Code:

reps <- 5000
B <- seq(1,30,by=2)
n <- 25

sigma.u <- .5
pvalues <- matrix(NA,reps,length(B))
for (bb in 1:length(B)){
     for (i in 1:reps){
          x <- rnorm(B[bb]*n)
          y <- .1*x + rnorm(B[bb]*n,sd=sigma.u)
          pvalues[i,bb] <- summary(lm(y~x))$coefficients[2,4]     
     }
}
plot(B,colMeans(pvalues),type="l", lwd=2, col="purple", ylim=c(0,.9))
ConfidenceInterval <- apply(pvalues, 2, quantile, probs = c(.1,.9))
x.ax <- c(B,rev(B))
y.ax <- c(ConfidenceInterval[1,],rev(ConfidenceInterval[2,]))
polygon(x.ax,y.ax, col=alpha("blue",alpha = .2), border=NA)
Christoph Hanck
quelle
Da ein p-Wert eine zufällige Größe ist, ist es wichtig zu erklären, dass die vertikale Achse in Ihrem Diagramm Ihre Schätzungen der erwarteten p-Werte anstelle der p-Werte selbst anzeigt . In Anbetracht dessen wäre es eine wesentliche Ergänzung Ihrer Analyse , die Variation zwischen den p-Werten für ein gegebenes zu zeigen. B
whuber
@whuber, das habe ich versucht zu betonen, indem ich "erwarten" geschrieben habe, aber es ist jetzt hoffentlich etwas expliziter.
Christoph Hanck
3
+1, aber die "Abflachung" würde vermutlich verschwinden, wenn Sie log(p)anstelle von sich pselbst zeichnen würden .
Amöbe
@amoeba: Ja, das Ausführen des gleichen Skripts für log-pvalues ​​scheint eine gerade Linie zu erzeugen.
Christoph Hanck