Was ist der Vorteil von Permutationstests?

Wenn Sie einige Null- oder Alternativhypothesen mit einer Teststatistik testen , wobei , wenden Sie den Permutationstest mit der Menge der Permutationen auf und wir haben eine neue Statistik X = { x i , . . . , x n } G X T ( X ) : = # { π ∈ G : U ( π X ) ≥ U ( X ) $U(X)$$X = \{ x_i, ..., x_n\}$$G$$X$

1. Was ist der Vorteil der Verwendung des Permutationstests gegenüber der Nichtverwendung? Dh wie ist es, wenn der Permutationstest funktioniert?

2. Welche Bedingungen, um dies zu erreichen? Wie einige Bedingungen auf der Teststatistik und / oder auf der Nullhypothese?$U$

Beispielsweise,

1. Sollte für Probe gleich dem p-Wert basierend auf ? Wenn ja, warum? (Referenzen werden auch geschätzt)U ( X ) $T(X)$$U(X)$$X$

   Der p-Wert von ist definiert als . Wenn der Permutationstest die Permutationsverteilung von U (X) | schätzen soll X = x , wie ist T (X) gleich dem p-Wert von U (X) bei X = x ? Insbesondere kann es mehr als eine Verteilung im Null- H geben , und T (X) berücksichtigt die Null-Verteilungen nicht einzeln und nimmt dann \ sup_ {F \ in H} und \ inf_ {c: U (x) \ geq c} .inf c ≤ R : U ( x ) ≥ c sup F ≤ H P ( U ( X ) ≥ c | X ≤ F ) U ( X ) | X = x T ( X ) U ( X ) X = x H T ( X ) sup F ∈ $U(X)$

   $$\inf_{c \in \mathbb R: U(x) \geq c} \sup_{F \in H} P(U(X) \geq c | X \sim F)$$ $U(X) | X=x$$T(X)$$U(X)$$X=x$$H$$T(X)$$\sup_{F\in H}$$\inf_{c: U(x) \geq c}$

2. Sollte der Permutationstest über die Nullhypothesen verteilungsfrei machen ? Unter welchen Bedingungen wird das geschehen?$T(X)$

3. Sollte gleichmäßig über ? Unter welchen Bedingungen wird das geschehen? Beachten Sie, dass, wenn eine konstante Funktion ist, auch bei konstant ist und die Verteilung von weit davon entfernt ist, über gleichmäßig zu sein .[ 0 , 1 ] U ( ⋅ ) T ( ⋅ ) 1 T ( X ) [ 0 , 1 $T(X)$$[0,1]$$U(\cdot)$$T(\cdot)$$1$$T(X)$$[0,1]$

Danke und Grüße!

Da die Diskussion lang wurde, habe ich meine Antworten auf eine Antwort genommen. Aber ich habe die Reihenfolge geändert.

Permutationstests sind eher "genau" als asymptotisch (vergleiche beispielsweise mit Likelihood-Ratio-Tests). So können Sie beispielsweise einen Mittelwerttest durchführen, ohne die Verteilung der Mittelwertdifferenz unter der Null berechnen zu können. Sie müssen nicht einmal die beteiligten Verteilungen angeben. Sie können eine Teststatistik entwerfen, die unter einer Reihe von Annahmen eine gute Leistung aufweist, ohne für diese so empfindlich zu sein wie eine vollständig parametrische Annahme (Sie können eine Statistik verwenden, die robust ist, aber eine gute ARE aufweist).

Beachten Sie, dass die Definitionen, die Sie geben (oder besser gesagt, wer auch immer Sie dort zitieren), nicht universell sind. Einige Leute würden U eine Permutationsteststatistik nennen (was einen Permutationstest ausmacht, ist nicht die Statistik, sondern wie Sie den p-Wert bewerten). Aber wenn Sie einen Permutationstest durchführen und eine Richtung zugewiesen haben, da "Extreme davon nicht mit H0 übereinstimmen", ist diese Art der Definition für T oben im Grunde, wie Sie p-Werte berechnen - es ist nur der tatsächliche Anteil der Permutationsverteilung mindestens so extrem wie die Stichprobe unter der Null (genau die Definition eines p-Wertes).

Wenn ich zum Beispiel einen (der Einfachheit halber einseitigen) Mittelwerttest wie einen T-Test mit zwei Stichproben durchführen möchte, könnte ich meine Statistik zum Zähler der T-Statistik oder zur T-Statistik selbst machen. oder die Summe der ersten Probe (jede dieser Definitionen ist in den anderen monoton, abhängig von der kombinierten Probe) oder einer monotonen Transformation von ihnen und haben den gleichen Test, da sie identische p-Werte ergeben. Alles, was ich tun muss, ist zu sehen, wie weit (in Bezug auf die Proportionen) die Permutationsverteilung der Statistik reicht, für die ich die Stichprobenstatistik wähle. T wie oben definiert ist nur eine andere Statistik, so gut wie jede andere, die ich wählen könnte (T wie definiert, da es in U monoton ist).

T wird nicht genau gleichförmig sein, da dies kontinuierliche Verteilungen erfordern würde und T notwendigerweise diskret ist. Da U und damit T einer bestimmten Statistik mehr als eine Permutation zuordnen können, sind die Ergebnisse nicht gleich wahrscheinlich, aber sie haben ein "einheitliches" cdf **, aber eines, bei dem die Schritte nicht unbedingt gleich groß sind .

** ( und genau gleich an der rechten Grenze jedes Sprungs - es gibt wahrscheinlich einen Namen für das, was das eigentlich ist)$F(x)\leq x$

Für vernünftige Statistiken, wenn gegen unendlich geht, nähert sich die Verteilung von Gleichförmigkeit. Ich denke, der beste Weg, sie zu verstehen, besteht darin, sie in verschiedenen Situationen zu tun. $n$$T$

Sollte T (X) für jede Probe X gleich dem auf U (X) basierenden p-Wert sein? Wenn ich es richtig verstehe, habe ich es auf Seite 5 dieser Folien gefunden.

T ist der p-Wert (für Fälle, in denen großes U eine Abweichung von der Null anzeigt und kleines U damit übereinstimmt). Beachten Sie, dass die Verteilung von der Stichprobe abhängig ist. Die Verteilung ist also nicht "für irgendeine Probe".

Der Vorteil der Verwendung des Permutationstests besteht also darin, den p-Wert der ursprünglichen Teststatistik U zu berechnen, ohne die Verteilung von X unter Null zu kennen. Daher kann die Verteilung von T (X) nicht unbedingt gleichmäßig sein?

Ich habe bereits erklärt, dass T nicht einheitlich ist.

Ich glaube, ich habe bereits erklärt, was ich als die Vorteile von Permutationstests sehe. andere Leute schlagen andere Vorteile vor ( z . B. ).

Bedeutet "T ist der p-Wert (für Fälle, in denen großes U eine Abweichung von Null anzeigt und kleines U damit übereinstimmt)", dass der p-Wert für Teststatistik U und Probe X T (X) ist? Warum? Gibt es eine Referenz, um das zu erklären?

Der von Ihnen zitierte Satz besagt ausdrücklich, dass T ein p-Wert ist und wann. Wenn Sie erklären können, was daran unklar ist, könnte ich vielleicht mehr sagen. Was den Grund betrifft, siehe die Definition des p-Werts (erster Satz unter dem Link) - daraus folgt ganz direkt

Es gibt eine gute elementare Diskussion Permutationstests hier .

- -

Bearbeiten: Ich füge hier ein kleines Permutationstestbeispiel hinzu; Dieser (R) Code ist nur für kleine Stichproben geeignet. Sie benötigen bessere Algorithmen, um die extremen Kombinationen in moderaten Stichproben zu finden.

Betrachten Sie einen Permutationstest gegen eine einseitige Alternative:

$H_0: \mu_x = \mu_y$ (einige Leute bestehen auf *)$\mu_x \geq \mu_y$
$H_1: \mu_x < \mu_y$

* aber ich vermeide es normalerweise, weil es das Problem für Schüler besonders verwirrt, wenn sie versuchen, Nullverteilungen zu erarbeiten

zu folgenden Daten:

> x;y
[1] 25.17 20.57 19.03
[1] 25.88 25.20 23.75 26.99

Es gibt 35 Möglichkeiten, die 7 Beobachtungen in Stichproben der Größen 3 und 4 zu unterteilen:

> choose(7,3)
[1] 35

Wie bereits erwähnt, ist angesichts der 7 Datenwerte die Summe der ersten Stichprobe in der Mittelwertdifferenz monoton. Verwenden wir diese also als Teststatistik. Die Originalprobe hat also eine Teststatistik von:

> sum(x)
[1] 64.77

Hier ist die Permutationsverteilung:

> sort(apply(combn(c(x,y),3),2,sum))
 [1] 63.35 64.77 64.80 65.48 66.59 67.95 67.98 68.66 69.40 69.49 69.52 69.77
[13] 70.08 70.11 70.20 70.94 71.19 71.22 71.31 71.62 71.65 71.90 72.73 72.76
[25] 73.44 74.12 74.80 74.83 75.91 75.94 76.25 76.62 77.36 78.04 78.07

(Es ist nicht unbedingt erforderlich, sie zu sortieren. Ich habe das nur getan, um leichter zu erkennen, dass die Teststatistik der zweite Wert am Ende war.)

Wir können sehen (in diesem Fall durch Inspektion), dass 2/35 ist, oder$p$

> 2/35
[1] 0.05714286

(Beachten Sie, dass nur im Fall ohne xy-Überlappung ein p-Wert unter 0,05 hier möglich ist. In diesem Fall wäre diskret einheitlich, da es in keine gebundenen Werte gibt .)$T$$U$

Die rosa Pfeile geben die Stichprobenstatistik auf der x-Achse und den p-Wert auf der y-Achse an.