Was ist dieser Trick mit dem Hinzufügen von 1 hier?

11

Ich habe mir diese Seite über die Monte-Carlo-Implementierung des Lillefors-Tests angesehen. Ich verstehe diesen Satz nicht:

Bei dieser Berechnung aus der Simulation liegt ein zufälliger Fehler vor. Aufgrund des Tricks, 1 zum Zähler und Nenner bei der Berechnung des P-Werts zu addieren, kann es jedoch ohne Berücksichtigung der Zufälligkeit direkt verwendet werden.

Was meinen sie mit dem Trick, 1 zu Zähler und Nenner zu addieren?

Der relevante Code ist hier:

n <- length(x)
nsim <- 4999
d.star <- double(nsim)
for (i in 1:nsim) {
    x.star <- rnorm(n)
    d.star[i] <- fred(x.star)
}
hist(d.star)
abline(v = d.hat, lty = 2)
## simulation-derived P-value
pval <- (sum(d.star > d.hat) + 1) / (nsim + 1)
Aksakal
quelle
Können Sie hier den relevanten Kontext hinzufügen?
Gung - Reinstate Monica
4
Sieht aus wie eine Laplace-Glättung für den Monte-Carlo-Schätzer der Wahrscheinlichkeiten, die ihn auf 1/2 verringert; Der Haupteffekt besteht wahrscheinlich darin, zu vermeiden, jemals einen p-Wert von 0 zu erhalten, wie @Tim feststellte (obwohl es kein Risiko gibt, durch 0 zu teilen, wie er sagte, es sei denn, Sie führen 0 Simulationen durch). Ich verstehe nicht wirklich, warum Sie es "ohne Rücksicht auf die Zufälligkeit" verwenden können.
Dougal
2
Haben Sie Geyer direkt geschrieben, um zu fragen, was der Satz bedeutet?
Alexis
@ Alexis, nein, aber es ist eine gute Idee.
Aksakal
@ Dougal, ja, es sieht aus wie Laplace-Glättung. Es ist nicht klar, warum er es hier anwendet.
Aksakal

Antworten:

6

Die Erklärung auf der Seite, auf die verwiesen wird, lautet

Unter der Nullhypothese ist die Wahrscheinlichkeit genau k / n simPr(Pk/nsim)k/nsim wenn sowohl die Zufälligkeit in den Daten als auch die Zufälligkeit in der Simulation berücksichtigt werden.

Um dies zu verstehen, müssen wir uns den Code ansehen, dessen Schlüsselzeilen (erheblich abgekürzt) sind

fred <- function(x) {ks.test(...)$statistic}  # Apply a statistical test to an array
d.hat <- fred(x)                              # Apply the test to the data
d.star <- apply(matrix(rnorm(n*nsim), n, nsim),
                2, fred)                      # Apply the test to nsim simulated datasets
pval <- (sum(d.star > d.hat) + 1) / (nsim + 1)# Estimate a simulation p-value

Das Hauptproblem ist, dass der Code nicht mit dem Angebot übereinstimmt. Wie können wir sie versöhnen? Ein Versuch beginnt mit der letzten Hälfte des Zitats. Wir könnten das Verfahren so interpretieren, dass es die folgenden Schritte umfasst:

  1. Collect unabhängig und identisch verteilten Daten gemäß irgendeinem Wahrscheinlichkeitsgesetz G . Wenden Sie eine Testprozedur t (implementiert im Code als ) an, um die Zahl T 0 = t ( X 1 , , X n ) zu erzeugen.X1,X2,,XnGtfredT0=t(X1,,Xn) .

  2. Generieren via Computer vergleichbare Datensatz, die jeweils eine Größe n , entsprechend eine Nullhypothese mit Wahrscheinlichkeitsgesetz F . Wenden Sie t auf jeden solchen Datensatz an, um N Zahlen T 1 , T 2 , , T N zu erzeugenN=nsimnFtNT1,T2,,TN .

  3. Berechnen Sie

    P=(i=1NI(Ti>T0)+1)/(N+1).

    (" " ist die Indikatorfunktion, die durch den vektorwertigen Vergleich im Code implementiert wird .) Die rechte Seite wird aufgrund der gleichzeitigen Zufälligkeit von T 0 (der tatsächlichen Teststatistik) und der Zufälligkeit von T als zufällig verstanden i (die simulierte Teststatistik). Id.star > d.hatT0Ti

Zu sagen , dass die Daten an die Nullhypothese entsprechen ist zu behaupten , dass . Wählen Sie eine Testgröße α , 0 < α < 1 . Das Multiplizieren beider Seiten mit N + 1 und das Subtrahieren von 1 zeigt, dass die Wahrscheinlichkeit, dass P α für eine beliebige Zahl α ist, die Wahrscheinlichkeit ist, dass nicht mehr als ( N + 1 ) α - 1 des T i T 0 überschreitet . Dies sagt lediglich, dass T.F=Gα0<α<1N+11Pαα(N+1)α1TiT0T0liegt innerhalb der Spitze des sortierten Satzes aller N + 1 -Teststatistiken. Da (konstruktionsbedingt) T 0 unabhängig von allen T i ist , ist diese Chance , wenn F eine kontinuierliche Verteilung ist, der Bruchteil der Summe, die durch den ganzzahligen Teil ( N + 1 ) α ⌋ dargestellt wird ; das heißt, Pr ( P α ) = ( N + 1 ) α (N+1)αN+1T0TiF(N+1)αund es wird genau gleich sein, vorausgesetzt(N+1)αist eine ganze Zahlk; das heißt, wennα=k/(N+1).

Pr(Pα)=(N+1)αN+1α
(N+1)αkα=k/(N+1)

Dies ist sicherlich eines der Dinge, die wir für jede Größe gelten wollen, die es verdient, als "p-Wert" bezeichnet zu werden: Sie sollte eine gleichmäßige Verteilung auf . Vorausgesetzt, N + 1 ist ziemlich groß, so dass jedes α nahe an einem Bruchteil der Form k / ( N + 1 ) = k / ( n sim + 1 ) liegt , ist dies[0,1]N+1αk/(N+1)=k/(nsim+1) nahezu eine gleichmäßige Verteilung. (Um mehr über die zusätzlichen Bedingungen zu erfahren, die für einen p-Wert erforderlich sind, lesen Sie bittePden Dialog, den ich zum Thema p-Werte gepostet habe. )

Offensichtlich sollte das Zitat " " anstelle von " n sim " verwenden, wo immer es erscheint.nsim+1nsim

whuber
quelle
5

Ich glaube, dass hier 1 zu beiden hinzugefügt wird, weil die beobachtete Statistik in der Referenzverteilung enthalten ist; Wenn dies der Fall ist, liegt dies an dem "mindestens ebenso großen" Teil der Definition des p-Werts.

Ich weiß es nicht genau, weil der Text etwas anderes zu sagen scheint, aber deshalb würde ich es tun.

Glen_b - Monica neu starten
quelle
1
@whuber Ich sehe nicht, wie ich zustimmen kann. Nicht alle Tests sind Likelihood-Ratio-Tests. Welche Relevanz kann die Interpretation in Bezug auf Wahrscheinlichkeitsverhältnisse haben, wenn es sich nicht um LRTs handelt?
Glen_b -Reinstate Monica
1
@whuber Es kann sicherlich tun. Betrachten Sie zum Beispiel einen Wilcoxon-Mann-Whitney (oder tatsächlich Permutationstests in größerem Umfang). Es gibt eine Vielzahl von absolut vernünftigen Tests, die weder ein Lilliefors-Test noch ein Likelihood-Ratio-Test sind. Wenn es eine klare Alternative gibt, gegen die Leistung gewünscht wird, ist es oft möglich, eine aussagekräftige Teststatistik zu erstellen, bei der die durch die Teststatistik angegebene Reihenfolge auf dem Probenraum durchaus sinnvoll ist und in einer Vielzahl von Alternativen angemessene Eigenschaften aufweist.
Glen_b -State Monica
1
Wenn man eine Teststatistik erstellt, die (im Sinne von extremeren Werten, ob größer, kleiner oder beides) der Art der Alternative entspricht, an der man interessiert ist, spricht man sicherlich "die Art der Alternative an, an der man interessiert ist "- aber selbst wenn man einen unzulässigen (in der Tat sogar einen nutzlosen) Test verwenden würde, würde das Prinzip, das ich in meiner Antwort darlege, die beobachtete Probe in die simulierten Ergebnisse aufzunehmen, immer noch gelten. Sobald Sie eine Bestellung haben, auch wenn es nicht die beste ist, würde bei der Berechnung der p-Werte der beobachtete Fall immer noch in die Zählung gehören.
Glen_b -State Monica
2
@whuber wir sind jetzt vielleicht nicht so weit voneinander entfernt. Bei der Auswahl einer vernünftigen Teststatistik möchten wir sicherlich etwas ansprechen . Aber sobald wir eine Teststatistik haben (wie wir sie zum Zeitpunkt der Simulation unter Null haben müssen), haben wir das bereits getan. Und wenn wir dies einmal getan haben, liegt der Grund, warum wir den beobachteten Fall in unsere Berechnung des p-Werts einbeziehen würden, darin, was ein p-Wert ist.
Glen_b -Reinstate Monica
1
Ich glaube nicht, dass wir überhaupt Unterschiede haben. (Beachten Sie, dass meine eigene Antwort deutlich macht, dass es angemessen ist, die beobachtete Stichprobe in die Zählung einzubeziehen.) Mein Kommentar bezog sich nicht auf Ihre Antwort auf die Frage (mit der ich einverstanden und positiv bewertet bin), sondern nur auf den problematischen Ausdruck "zumindest" so groß. " Ich sehe diesen Satz an so vielen Stellen auf dieser Website (und anderswo) falsch interpretiert, dass ich die Aufmerksamkeit der Leser darauf lenken wollte, was er wirklich bedeuten muss .
whuber