Warum ist die asymptotische relative Effizienz des Wilcoxon-Tests

13

Es ist bekannt, dass die asymptotische relative Effizienz (ARE) des Wilcoxon Signed Rank Test verglichen mit dem Student's t- Test, wenn die Daten aus einer normalverteilten Population stammen. Dies gilt sowohl für den einfachen Test mit einer Stichprobe als auch für die Variante für zwei unabhängige Stichproben (Wilcoxon-Mann-Whitney U). Es ist auch das ARE eines Kruskal-Wallis-Tests im Vergleich zu einem ANOVA F -Test für normale Daten.3π0.955

Hat dieses bemerkenswerte (für mich eines der " unerwartetsten Erscheinungen vonπ ") und bemerkenswert einfache Ergebnis einen aufschlussreichen, bemerkenswerten oder einfachen Beweis?

Silberfisch
quelle
In Anbetracht der Erscheinung von π im normalen CDF, das Auftreten von π in der nicht wirklich sollte alles so überraschend. Ich werde eine Antwort riskieren, aber es wird eine Weile dauern, bis eine gute Antwort vorliegt.
Glen_b -Reinstate Monica
1
@ Glen_b In der Tat - Ich habe eine Diskussion über "Warum taucht π so häufig in Statistiken auf ?" aber 3/π ist immer noch angenehm überraschend, wenn Sie es zum ersten Mal sehen. Zum Vergleich ist der ARE von Mann-Whitney im Vergleich zum T-Test mit zwei Stichproben 3 bei Exponentialdaten, 1,5 bei Doppelexponential und 1 bei Uniform - viel runder!
Silverfish
1
@Silverfish Ich habe die Seite 197 von van der Vaart "Asymptotic Statistics" verlinkt. Für eine Stichprobe haben Vorzeichentests ARE 2/π relativ zu t-Test.
Khashaa
1
@Silverfish ... und bei der Logistik ist es (π/3)2 . Es gibt nicht wenige der bekannten AREs (in ein oder zwei Beispielfällen), die betreffen, πund nicht wenige, die einfache Verhältnisse von ganzen Zahlen darstellen.
Glen_b
1
Für einen vorzeichenbehafteten Rangtest mit einer Stichprobe scheint es 3/π . Bei einem Vorzeichentest mit einer Stichprobe beträgt er 2/π . Also haben wir unsere Position geklärt. Ich halte es für ein gutes Zeichen.
Khashaa

Antworten:

10

Kurze Skizze von ARE für einen t Test mit einer Stichprobe , einen signierten Test und einen Test mit signiertem Rang

Ich gehe davon aus, dass die Langversion der Antwort von @ Glen_b eine detaillierte Analyse für einen Rangtest mit zwei Stichproben und eine intuitive Erklärung des ARE enthält. Also werde ich den größten Teil der Ableitung überspringen. (Beispielfall, fehlende Angaben bei Lehmann TSH).

Testaufgabe : Sei X1,,Xn eine Zufallsstichprobe aus dem Ortsmodell f(xθ) , symmetrisch um Null. Wir müssen ARE von vorzeichenbehaftetem Test und vorzeichenbehaftetem Rangtest für die Hypothese H0:θ=0 Bezug auf t-Test berechnen .

Um die relative Effizienz von Tests zu beurteilen, werden nur lokale Alternativen berücksichtigt, da konsistente Tests gegen feste Alternativen gegen 1 tendieren. Lokale Alternativen, die zu einer nichttrivialen asymptotischen Kraft führen, haben häufig die Form für festesh, wasin manchen LiteraturstellenPitman-Drift genannt wird.θn=h/nh

Unsere vor uns liegende Aufgabe ist

  • Finden Sie die Grenzverteilung jeder Teststatistik unter der Null
  • Finden Sie die Grenzverteilung jeder Teststatistik unter der Alternative
  • Berechnen Sie die lokale asymptotische Kraft jedes Tests

Teststatistik und Asymptotik

  1. t-Test (angesichts der Existenz von ) t n = σt n =
    tn=nX¯σ^dN(0,1)under the null
    tn=nX¯σ^dN(h/σ,1)under the alternative θ=h/n
    • der Test, der ablehnt, wenn hat die asymptotische Potenzfunktion 1 - Φ ( z α - h 1tn>zα
      1Φ(zαh1σ)
  2. vorzeichenbehafteter Test Sn=1ni=1n1{Xi>0}
    n(Sn12)dN(0,14)under the null 
    n(Sn12)dN(hf(0),14)under the alternative 
    and has local asymptotic power
    1Φ(zα2hf(0))
  3. signed-rank test
    Wn=n2/3i=1nRi1{Xi>0}dN(0,13)under the null 
    WndN(2hf2,13)under the alternative 
    and has local asymptotic power
    1Φ(zα12hf2)

Therefore,

ARE(Sn)=(2f(0)σ)2
ARE(Wn)=(12f2σ)2
If f is standard normal density, ARE(Sn)=2/π, ARE(Wn)=3/π

If f is uniform on [-1,1], ARE(Sn)=1/3, ARE(Wn)=1/3

Remark on the derivation of distribution under the alternative

There are of course many ways to derive the limiting distribution under the alternative. One general approach is to use Le Cam's third lemma. Simplified version of it states

Let Δn be the log of the likelihood ratio. For some statistic Wn, if

(Wn,Δn)dN[(μσ2/2),(σW2ττσ2/2)]
under the null, then
WndN(μ+τ,σW2)under the alternative

For quadratic mean differentiable densities, local asymptotic normality and contiguity are automatically satisfied, which in turn implies Le Cam lemma. Using this lemma, we only need to compute cov(Wn,Δn) under the null. Δn obeys LAN

Δnhni=1nl(Xi)12h2I0
where l is score function, I0 is information matrix. Then, for instance, for signed test Sn
cov(n(Sn1/2),Δn)=hcov(1{Xi>0},ff(Xi))=h0f=hf(0)
Khashaa
quelle
+1 I wasn't going to go into quite this much detail (indeed, with your answer covering things quite nicely already, I probably won't add anything to what I have now) so if you want to put more detail, don't hold back on my account. I would have been several days yet (and still for less than you have already), so it's a good thing you came in.
Glen_b -Reinstate Monica
This is a nice answer particularly for adding in Le Cam's lemma (+1). It seems to me there is quite a big jump between establishing the asymptotics in 1, 2, and 3, and the "therefore" bit where you write the AREs. I think if I were writing this up, I'd define asymptotic efficiency at this point (or maybe earlier, so the upshot of points 1, 2 and 3 would be the AEs not just local asymptotic powers in each case) and then the step to the AREs would be much easier for future readers to follow.
Silverfish
Perhaps it is worth specifying your H1? One-sided and two-sided cases have different-looking asymptotic powers (though they lead to the same AREs).
Silverfish
Feel free to edit my answer or append it to the OP.
Khashaa
1
@Khashaa Thanks. I shall edit your post when I have the right stuff in front of me. Would you mind clarifying the meaning of the in the final equation?
Silverfish
6

This has nothing to do with explaining why π appears (which was explained nicely by others) but may help intuitively. The Wilcoxon test is a t-test on the ranks of Y whereas the parametric test is computed on the raw data. The efficiency of the Wilcoxon test with respect to the t-test is the square of the correlation between the scores used for the two tests. As n the squared correlation converges to π3. You can easily see this empirically using R:

n <- 1000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549402
[1] 0.9549297
n <- 100000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549298
[1] 0.9549297
Frank Harrell
quelle
This is indeed a very helpful comment. Is it slightly conceptually closer to do n <- 1e6; x <- rnorm(n); cor(x, rank(x))^2 (which obviously produces the same result)?
Silverfish
(People intrigued by Frank's comment may want to look at this question about the equivalence of Wilcoxon-Mann-Whitney U and a t-test on the ranks.)
Silverfish
something I don't understand about this answer is that the correlation is higher for lower values of n (I think the proximal reason is that we don't see the tails very well for smaller n). Naively that implies that the relative efficiency of the Wilcoxon is higher for small n, which surprises me ... ?? (I might do some simulations, but (a) if there's an easy answer ... and (b) am I missing a conceptual point somewhere?)
Ben Bolker
To my recollection the small sample efficiency of both the Wilcoxon signed rank test and the W-M-W are a bit lower than the asymptotic value on shift alternatives at the normal distribution.
Glen_b -Reinstate Monica
5

Short version: The basic reason with the Wilcoxon-Mann-Whitney under a shift alternative is that finding the asymptotic relative efficiency (WMW/t) corresponds to evaluating 12σ2[f2(x)dx]2 where f is the common density at the null and σ is the common variance.

So at the normal, f2 is effectively a scaled version of f; its integral will have a 1π term; when squared, that's the source of the π.

The same term - with the same integral - is involved in the ARE for the signed rank test, so it takes the same value.

For the sign test relative to t, the ARE is 4σ2f(0)2... and f(0)2 again has a π in it.

So essentially it's as I said in comments; π is in the ARE for the Wilcoxon-Mann-Whitney vs the two-sample t test, for the Wilcoxon signed rank test vs the one-sample t and the sign test vs the one-sample t test (in each case at the normal) quite literally because it appears in the normal density.

Reference:

J. L. Hodges and E. L. Lehmann (1956),
"The Efficiency of Some Nonparametric Competitors of the t-Test",
Ann. Math. Statist., 27:2, 324-335.

Glen_b -Reinstate Monica
quelle
I like the explanation for the intuition for the appearance of π in the denominator; is it essentially coincidence that the Renyi entropy turns up in the WMW/Wilcoxon integrals?
Silverfish
@Silverfish That f2dx turns up is certainly not coincidence. However, that's not because that's connected to Rényi entropy, or at least I don't see any direct connection. We're getting into stuff I don't really know about now, though.
Glen_b -Reinstate Monica
@Silverfish It's only a Renyi entropy for α=2. Otherwise, it is just a plain old square that can come up in a million different ways.
abalter