Kürzlich habe ich in einer Arbeit von Klammer et al. eine Aussage, dass p-Werte gleichmäßig verteilt sein sollten. Ich glaube den Autoren, kann aber nicht verstehen, warum es so ist.

Klammer, AA, Park, CY und Stafford Noble, W. (2009) Statistische Kalibrierung der SEQUEST XCorr-Funktion . Journal of Proteome Research . 8 (4): 2106–2113.

Um ein bisschen zu klären. Der p-Wert ist gleichmäßig verteilt, wenn die Nullhypothese wahr ist und alle anderen Annahmen erfüllt sind. Der Grund dafür ist in Wirklichkeit die Definition von Alpha als die Wahrscheinlichkeit eines Fehlers vom Typ I. Wir wollen, dass die Wahrscheinlichkeit, eine echte Nullhypothese abzulehnen, Alpha ist. Wir lehnen ab, wenn der beobachtete ist. Dies geschieht nur, wenn der p-Wert von einer Uniform stammt Verteilung. Der springende Punkt bei der Verwendung der richtigen Verteilung (Normal, t, f, chisq usw.) ist die Transformation von der Teststatistik in einen einheitlichen p-Wert. Wenn die Nullhypothese falsch ist, wird die Verteilung des p-Wertes (hoffentlich) stärker gegen 0 gewichtet.$\text{p-value} < \alpha$

Die Funktionen Pvalue.norm.simund Pvalue.binom.simim TeachingDemos- Paket für R simulieren mehrere Datensätze, berechnen die p-Werte und zeichnen sie auf, um diese Idee zu demonstrieren.

Siehe auch:

Murdoch, D, Tsai, Y und Adcock, J (2008). P-Werte sind Zufallsvariablen. The American Statistician , 62 , 242 & ndash; 245.

Für mehr Details.

Bearbeiten:

Da die Leute diese Antwort immer noch lesen und kommentieren, dachte ich, ich würde @ whubers Kommentar ansprechen.

Es ist richtig, dass bei Verwendung einer zusammengesetzten Nullhypothese wie die p-Werte nur dann gleichmäßig verteilt werden, wenn die 2 Mittelwerte exakt gleich sind und keine Einheitlichkeit aufweisen, wenn ein Wert ist, der kleiner als ist . Dies lässt sich anhand der Funktion und der Einstellung für einen einseitigen Test und die Simulation mit den simulierten und hypothetischen Mitteln leicht erkennen (jedoch in der Richtung, in der die Null wahr wird).μ 1 μ $\mu_1 \leq \mu_2$$\mu_1$$\mu_2$Pvalue.norm.sim

Was die statistische Theorie betrifft, spielt dies keine Rolle. Wenn ich behaupte, dass ich größer als jedes Mitglied Ihrer Familie bin, besteht eine Möglichkeit, diese Behauptung zu testen, darin, meine Größe mit der Größe jedes einzelnen Mitglieds Ihrer Familie zu vergleichen. Eine andere Möglichkeit wäre, das größte Familienmitglied zu finden und seine Größe mit meiner zu vergleichen. Wenn ich größer als diese eine Person bin, bin ich auch größer als der Rest und meine Behauptung ist wahr. Wenn ich nicht größer als diese eine Person bin, ist meine Behauptung falsch. Das Testen einer zusammengesetzten Null kann als ein ähnlicher Prozess angesehen werden, anstatt alle möglichen Kombinationen zu testen, bei denen nur der Gleichheitsteil getestet werden kann, da wir zugunsten von ablehnen könnenμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2$\mu_1 \leq \mu_2$$\mu_1 = \mu_2$$\mu_1 > \mu_2$dann wissen wir, dass wir auch alle Möglichkeiten von ablehnen können . Wenn wir uns die Verteilung der p-Werte für Fälle ansehen, in denen ist die Verteilung nicht perfekt gleichmäßig, hat jedoch mehr Werte, die näher an 1 als an 0 liegen, was bedeutet, dass die Wahrscheinlichkeit eines Fehlers vom Typ I geringer ist als Der ausgewählte Wert macht es zu einem konservativen Test. Die Uniform wird zur Grenzverteilung, wenn näher an$\mu_1 < \mu_2$$\mu_1 < \mu_2$$\alpha$$\mu_1$$\mu_2$(Die Leute, die aktueller in Bezug auf die statistischen Begriffe sind, könnten dies wahrscheinlich besser in Bezug auf das verteilungsmäßige Supremum oder ähnliches ausdrücken.) Indem wir also unseren Test unter der Annahme des gleichen Teils der Null konstruieren, auch wenn die Null zusammengesetzt ist, entwerfen wir unseren Test so, dass die Wahrscheinlichkeit eines Fehlers vom Typ I bei allen Bedingungen, bei denen die Null wahr ist, höchstens beträgt.$\alpha$

$T$$F(t)$$P=F(T)$

Dieses Ergebnis ist allgemein: Die Verteilung einer invertierbaren CDF einer Zufallsvariablen ist auf gleichmäßig .$[0,1]$

Sei die Zufallsvariable mit der kumulativen Verteilungsfunktion für alle . Unter der Annahme, dass invertierbar ist, können wir die Verteilung des zufälligen p-Wertes wie folgt ableiten :$T$$F(t) \equiv \Pr(T<t)$$t$$F$$P = F(T)$

woraus wir schließen können, dass die Verteilung von auf gleichmäßig ist .$P$$[0,1]$

Diese Antwort ähnelt der von Charlie, es wird jedoch vermieden, .$t = F^{-1}(p)$

Einfache Simulation der Verteilung von p-Werten bei linearer Regression zwischen zwei unabhängigen Variablen:

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

Ich glaube nicht, dass die meisten dieser Antworten die Frage allgemein beantworten. Sie beschränken sich auf den Fall, dass eine einfache Nullhypothese vorliegt und die Teststatistik eine invertierbare CDF aufweist (wie bei einer stetigen Zufallsvariablen mit einer streng ansteigenden CDF). Dies sind die Fälle, um die sich die meisten Menschen beim Z-Test und T-Test kümmern, obwohl man zum Testen eines binomischen Mittels (zum Beispiel) keine solche CDF hat. Was oben angegeben ist, erscheint mir für diese eingeschränkten Fälle richtig.

Wenn Nullhypothesen zusammengesetzt sind, sind die Dinge etwas komplizierter. Der allgemeinste Beweis für diese Tatsache, den ich unter Verwendung einiger Annahmen in Bezug auf Ablehnungsbereiche im zusammengesetzten Fall gesehen habe, ist in Lehmann und Romanos "Testing Statisitical Hypotheses", S. 63-64, zu finden. Ich werde versuchen, das folgende Argument wiederzugeben ...

Wir testen eine Nullhypothese gegen eine alternative Hypothese auf der Grundlage einer Teststatistik, die wir als Zufallsvariable . Es wird angenommen, dass die Teststatistik aus einer parametrischen Klasse stammt, dh , wobei ein Element der Familie der Wahrscheinlichkeitsverteilungen und ist ein Parameterraum. Die Nullhypothese und die Alternativhypothese bilden eine Partition von in diesem $H_0$$H_1$$X$$X \sim P_\theta$$P_\theta$$\mathcal{P} \equiv \{P_\theta \mid \theta \in \Theta \}$$\Theta$$H_0: \theta \in \Theta_0$$H_1: \theta \in \Theta_1$$\Theta$

Das Ergebnis der Prüfung kann bezeichnet werden , wo für jede Menge definieren wir Hier ist unser Signifikanzniveau, und bezeichnet den Ablehnungsbereich des Tests für das Signifikanzniveau .

Angenommen, die Zurückweisungsbereiche erfüllen die wenn . In diesem Fall von verschachtelten Zurückweisungsbereichen ist es nützlich, nicht nur zu bestimmen, ob die Nullhypothese bei einem gegebenen Signifikanzniveau wird oder nicht , sondern auch das kleinste Signifikanzniveau zu bestimmen, für das die Nullhypothese zurückgewiesen würde. Diese Stufe wird als p-Wert bezeichnet , Diese Zahl gibt uns eine Vorstellung von wie stark die Daten (wie in der Teststatistik ) der Nullhypothese widersprechen .

Angenommen, für etwas und . Es sei zusätzlich angenommen, dass die Zurückweisungsbereiche der oben angegebenen Verschachtelungseigenschaft gehorchen. Dann gilt folgendes:$X \sim P_\theta$$\theta \in \Theta$$H_0: \theta \in \Theta_0$$R_\alpha$

1. Wenn für alle , dann für , $\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) \leq u \quad \text{for all} \quad 0 \leq u \leq 1.$$

2. Wenn für wir haben für alle , dann haben wir $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) = u \quad \text{for all} \quad 0 \leq u \leq 1.$$

Beachten Sie, dass diese erste Eigenschaft nur angibt, dass die falsch-positive Rate bei durch Zurückweisen gesteuert wird, wenn der p-Wert kleiner als , und die zweite Eigenschaft (unter der zusätzlichen Annahme) angibt, dass p-Werte unter der Null gleichmäßig verteilt sind Hypothese.$u$$u$

Der Beweis ist wie folgt:

1. Lassen Sie und nehmen Sie für alle . Dann haben wir per Definition von für alle . Aus der Monotonie und der Annahme folgt, dass für alle . Wenn wir , folgt, dass .$\theta \in \Theta_0$$\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\hat{p}$$\{\hat{p} \leq u\} \subset \{X \in R_v\}$$u < v$$P_\theta(\hat{p} \leq u) \leq P_\theta(X \in R_v) \leq v$$u < v$$v \searrow u$$P_\theta(\hat{p} \leq u) \leq u$

2. Lassen Sie und nehmen Sie an, dass für alle . Dann , und aus der Monotonie folgt, dass . Unter Berücksichtigung von (1) folgt, dass . $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\{X \in R_u\} \subset \{\hat{p}(X) \leq u\}$$u = P_\theta(X \in R_u) \leq P_\theta(\hat{p} \leq u)$$P_\theta(\hat{p}(X) \leq u) = u$

Es ist zu beachten, dass die Annahme in (2) nicht zutrifft, wenn eine Teststatistik diskret ist, selbst wenn die Nullhypothese eher einfach als zusammengesetzt ist. Nehmen wir zum Beispiel mit und . Das heißt, wirf eine Münze zehnmal um und teste, ob sie fair oder voreingenommen gegenüber Köpfen ist (als 1 codiert). Die Wahrscheinlichkeit, 10 Köpfe in 10 fairen Münzwürfen zu sehen, beträgt (1/2) ^ 10 = 1/1024. Die Wahrscheinlichkeit, 9 oder 10 Köpfe in 10 fairen Münzwürfen zu sehen, beträgt 11/1024. Für jedes ausschließlich zwischen 1/1024 und 11/1024 liegt, lehnen Sie die Null ab, wenn ist. Wir haben jedoch nicht das für diese Werte von wenn$X \sim \mathrm{Binom}(10, \theta)$$H_0: \theta = .5$$H_1: \theta > 0.5$$\alpha$$X = 10$$\Pr(X \in R_\alpha) = \alpha$$\alpha$$\theta = 0.5$ . Stattdessen ist für ein solches . $\Pr(X \in R_\alpha) = 1/1024$$\alpha$

Wenn p-Werte unter dem H0 gleichmäßig verteilt sind, bedeutet dies, dass ein p-Wert von .05 ebenso wahrscheinlich ist wie ein p-Wert von .80, dies ist jedoch nicht der Fall, da es weniger wahrscheinlich ist, dass ein p-Wert beobachtet wird. Wert von .05 als ein p-Wert von .80, da dies genau die Definition der Normalverteilung ist, aus der der p-Wert entnommen wird. Per Definition fallen mehr Proben in den Bereich der Normalität als außerhalb. Es ist daher wahrscheinlicher, größere p-Werte als kleinere zu finden.