Konfidenzintervall und P-Wert-Unsicherheit für den Permutationstest

Ich lerne gerade Randomisierungstests. Mir fallen zwei Fragen ein:

1. Ja, es ist einfach und intuitiv, wie der p-Wert mit dem Randomisierungstest berechnet wird (was meiner Meinung nach mit dem Permutationstest identisch ist?). Wie können wir jedoch auch ein 95% -Konfidenzintervall erzeugen, wie wir es bei normalen parametrischen Tests tun?

2. Während ich ein Dokument der University of Washington über Permutationstests lese , gibt es auf Seite 13 einen Satz, der besagt:

   Bei 1000 Permutationen ... beträgt die Unsicherheit nahe p = 0,05 etwa .$\pm 1\%$

   Ich frage mich, wie wir diese Unsicherheit bekommen.

Wie können wir jedoch auch ein 95% -Konfidenzintervall erzeugen, wie wir es bei normalen parametrischen Tests tun?

Hier ist eine Möglichkeit, ein Intervall aus einem Resampling-Test zu generieren, obwohl es nicht immer angemessen ist, es als Konfidenzintervall . Nehmen Sie für ein bestimmtes Beispiel einen Test auf einen Mittelwertunterschied von zwei Stichproben. Ziehen Sie in Betracht, die zweite Stichprobe um (was positiv oder negativ sein kann). Dann könnte der Satz von Werten, der zu einer Nicht-Zurückweisung durch den Test auf Stufe , als nominelles Konfidenzintervall für die Differenz der Mittelwerte verwendet werden.$^\dagger$$\delta$$\delta$$\alpha$$1-\alpha$

$\dagger$ Einige Autoren (z. B. [1], S. 364 ff. , [2]) bezeichnen ein auf diese Weise konstruiertes Intervall (vom Test nicht zurückgewiesene Parameterwerte) als Konsonanzintervall - was jedoch ein besserer Name als das Konfidenzintervall ist Viele Leute ignorieren den Unterschied einfach. Ich glaube beispielsweise, dass Cox & Hinkley diese Konfidenzintervalle nennen, weil der Ansatz nicht unbedingt Intervalle mit der gewünschten Abdeckung angibt (in vielen Situationen ist es möglich zu sehen, dass dies der Fall sein sollte). Der Name vermittelt etwas darüber, was das Intervall Ihnen sagt (ein Intervall von Werten, die mit den Daten übereinstimmen).

Gelman enthält eine Diskussion darüber, warum es manchmal problematisch sein kann, diese Konfidenzintervalle hier allgemein zu betrachten .

Es ist jedoch nicht schwer, die Abdeckung unter bestimmten Annahmen (über Simulation) zu untersuchen, und es gibt keinen Mangel an Personen, die Bootstrap-Intervalle als "Konfidenzintervalle" bezeichnen (selbst wenn manchmal festgestellt wird, dass sie nichts mit der behaupteten Abdeckung zu tun haben).

Weitere Einzelheiten dazu in dem Fall mit zwei Stichprobenunterschieden werden in [3] erörtert, wo sie als Randomisierungs-Konfidenzintervalle bezeichnet werden und dort eine Aussage darüber gemacht wird, wann sie genau sind (welche Behauptung ich habe). Ich habe versucht zu bewerten).

Bei 1000 Permutationen .... beträgt die Unsicherheit nahe p = 0,05 etwa ± 1%.

Ich frage mich, wie wir diese Unsicherheit bekommen?

Der geschätzte p-Wert ist ein gerader Binomialanteil. Es hat also den gleichen Standardfehler wie jedes andere Binomialverhältnis, .$\sqrt{\frac{p(1-p)}{n}}$

Wenn also und , beträgt der Standardfehler des beobachteten Anteils etwa . Ein CI wäre [Alternativ ist ungefähr Standardfehler pro Seite, was einem Konfidenzintervall für den zugrunde liegenden p-Wert von etwas mehr als ]$p = 0.05$$n=1000$$0.0069$$90\%$$\pm 1.13\%$$\pm 1\%$$1.45$$85\%$

Zumindest im groben Sinne könnte man also von einer Unsicherheit von "etwa 1%" sprechen.

- -

[1] Kempthorne and Folks (1971),
Wahrscheinlichkeit, Statistik und Datenanalyse ,
Iowa State University Press

[2] LaMotte LR und Volaufová J, (1999),
"Vorhersageintervalle über Konsonanzintervalle",
Journal der Royal Statistical Society. Serie D (The Statistician) , Vol. 48, Nr. 3, S. 419-424

[3] Ernst, MD (2004),
"Permutationsmethoden: Eine Basis für exakte Inferenz", Statistical Science , Vol. 19, No. 4, 676–685