Asymptotische Verteilung der Probenvarianz einer nicht normalen Probe

19

Dies ist eine allgemeinere Behandlung des Problems, das durch diese Frage aufgeworfen wird . Nachdem wir die asymptotische Verteilung der Stichprobenvarianz abgeleitet haben, können wir die Delta-Methode anwenden, um die entsprechende Verteilung für die Standardabweichung zu erhalten.

Lassen Sie eine Stichprobe der Größe von iid nicht normalen Zufallsvariablen { X i } ,n{Xi},i=1,...,n , mit Mittelwertund Varianz. Stellen Sie den Stichprobenmittelwert und die Stichprobenvarianz als μσ2

x¯=1ni=1nXi,s2=1n1i=1n(Xix¯)2

Wir wissen, dass

E(s2)=σ2,Var(s2)=1n(μ4n3n1σ4)

wo , und wir beschränken unsere Aufmerksamkeit auf Verteilungen, für die welche Momente existieren und endlich sein müssen, existieren und endlich sind.μ4=E(Xiμ)4

Hält es das?

n(s2σ2)dN(0,μ4σ4)?
Alecos Papadopoulos
quelle
Heh. Ich habe gerade in dem anderen Thread gepostet und nicht bemerkt, dass Sie dies gepostet haben. Es gibt eine Reihe von Dingen in der CLT, die auf die Varianz angewendet werden (wie z. B. p3-4 hier ). Schöne Antwort übrigens.
Glen_b
Vielen Dank. Ja, ich habe das gefunden. Aber sie vermissen den Fall @whuber darauf hingewiesen. Sie liefern sogar ein Bernoulli-Beispiel mit allgemeinem ! (Basis von S. 4). Ich erweitere meine Antwort, um auch den Fall 1/2 abzudecken . pp=1/2
Alecos Papadopoulos
Ja, ich habe gesehen, dass sie die Bernoulli in Betracht zogen, diesen Sonderfall aber nicht in Betracht zogen. Ich denke, die Erwähnung der Unterscheidung für den skalierten Bernoulli (gleichwahrscheinlich dichotomer Fall) ist ein Grund (unter ein paar anderen), warum es wertvoll ist, hier eine Antwort darauf zu haben (und nicht nur in einem Kommentar) - nicht zuletzt das es ist durchsuchbar nach.
Glen_b

Antworten:

20

Um Abhängigkeiten zu umgehen, die sich bei der Betrachtung der Stichprobenvarianz ergeben, schreiben wir

(n1)s2=i=1n((Xiμ)(x¯μ))2

=i=1n(Xiμ)22i=1n((Xiμ)(x¯μ))+i=1n(x¯μ)2

und nach einer kleinen Manipulation,

=i=1n(Xiμ)2n(x¯μ)2

Deshalb

n(s2σ2)=nn1i=1n(Xiμ)2nσ2nn1n(x¯μ)2

Manipulieren,

n(s2σ2)=nn1i=1n(Xiμ)2nn1n1σ2nn1n(x¯μ)2

=nnn11ni=1n(Xiμ)2nn1n1σ2nn1n(x¯μ)2

=nn1[n(1ni=1n(Xiμ)2σ2)]+nn1σ2nn1n(x¯μ)2

Der Term wird asymptotisch zu Eins. Der Begriff n/(n1)ist determinitisch und geht alsnauf Null.nn1σ2n

Wir haben auch . Die erste Komponente konvergiert in der Verteilung gegen eine Normale, die zweite konvergiert in der Wahrscheinlichkeit gegen Null. Dann konvergiert das Produkt nach dem Satz von Slutsky mit der Wahrscheinlichkeit gegen Null,n(x¯μ)2=[n(x¯μ)](x¯μ)

n(x¯μ)2p0

Wir sind mit dem Begriff verlassen

[n(1ni=1n(Xiμ)2σ2)]

Anhand eines tödlichen Beispiels von @whuber in einem Kommentar zu dieser Antwort möchten wir sicherstellen , dass nicht konstant ist. Whuber darauf hingewiesen , dass , wenn X i ein Bernoulli ( 1 / 2 ) , dann diese Größe eine Konstante ist. Ausgenommen also Variablen, für die dies der Fall ist (vielleicht andere dichotome, nicht nur 0 / 1- Binärvariablen?), Für den Rest haben wir(Xiμ)2Xi(1/2)0/1

E(Xiμ)2=σ2,Var[(Xiμ)2]=μ4σ4

und so ist der untersuchte Begriff ein üblicher Gegenstand des klassischen zentralen Grenzwertsatzes, und

n(s2σ2)dN(0,μ4σ4)

Hinweis: Das obige Ergebnis gilt natürlich auch für normalverteilte Stichproben. In diesem letzten Fall steht jedoch auch ein Chi-Quadrat-Verteilungsergebnis mit endlichen Stichproben zur Verfügung.

Alecos Papadopoulos
quelle
3
+1 Es gibt keinen Grund, allgemeine dichotome Verteilungen zu prüfen, da es sich bei allen um Skalen- und Ortsversionen des Bernoulli handelt: Die Analyse für den Bernoulli reicht aus. Meine Simulationen (bis zu einer Stichprobengröße von ) bestätigen das Ergebnis χ 2 1 . 101000χ12
Whuber
@whuber Danke fürs Überprüfen. Sie haben natürlich Recht, dass der Benroulli die Mutter von allen ist.
Alecos Papadopoulos
10

Sie haben bereits eine detaillierte Antwort auf Ihre Frage, aber lassen Sie mich eine andere dazu anbieten. Tatsächlich ist ein kürzerer Beweis aufgrund der Tatsache möglich, dass die Verteilung von

S2=1n1i=1n(XiX¯)2

does not depend on E(X)=ξ, say. Asymptotically, it also does not matter whether we change the factor 1n1 to 1n, which I will do for convenience. We then have

n(S2σ2)=n[1ni=1nXi2X¯2σ2]

And now we assume without loss of generality that ξ=0 and we notice that

nX¯2=1n(nX¯)2

has probability limit zero, since the second term is bounded in probability (by the CLT and the continuous mapping theorem), i.e. it is Op(1). The asymptotic result now follows from Slutzky's theorem and the CLT, since

n[1nXi2σ2]DN(0,τ2)

where τ2=Var{X2}=E(X4)(E(X2))2. And that will do it.

JohnK
quelle
This is certainly more economical. But please reconsider how innocuous is the E(X)=0 assumption. For example, it excludes the case of a Bernoulli (p=1/2) sample, and as I mention at the end of my answer, for such a sample, this asymptotic result does not hold.
Alecos Papadopoulos
@AlecosPapadopoulos Indeed but the data can always be centered, right? I mean
i=1n(Xiμ(X¯μ))2=i=1n(XiX¯)2
and we can work with the these variables. For the Bernoulli case, is there something stopping us from doing so?
JohnK
@AlecosPapadopoulos Oh yeah, I see the problem.
JohnK
I have written a small piece on the matter, I think it is time to upload it in my blog. I will notify you in case you are interested to read it. The asymptotic distribution of the sample variance in this case is interesting, and even more the asymptotic distribution of the sample standard deviation. These results hold for any p=1/2 dichotomous random variable.
Alecos Papadopoulos
1
Dumb question, but how can we assume that S2 is ancillary if the Xi are not normal? Or is S2 always ancillary (w.r.t. mean parametrization I guess) but only independent of the sample mean when the sample mean is a complete sufficient statistic (i.e. normally distributed) by Basu's theorem?
Chill2Macht
3

Die hervorragenden Antworten von Alecos und JohnK ergeben bereits das gewünschte Ergebnis, aber ich möchte noch etwas zur asymptotischen Verteilung der Stichprobenvarianz sagen.

Es ist üblich, asymptotische Ergebnisse unter Verwendung der Normalverteilung darzustellen, und dies ist nützlich, um die Theoreme zu formulieren. Praktisch gesehen besteht der Zweck einer asymptotischen Verteilung für eine Stichprobenstatistik darin, dass Sie eine ungefähre Verteilung erhalten, wennnist groß. Sie können eine Vielzahl von Optionen für Ihre Annäherung an große Stichproben auswählen, da viele Verteilungen dieselbe asymptotische Form haben. Im Falle der Stichprobenvarianz ist meiner Meinung nach eine hervorragende Approximationsverteilung für großn wird gegeben durch:

Sn2σ2Chi-Sq(df=DFn)DFn,

where DFn2/V(Sn2/σ2)=2n/(κ(n3)/(n1)) and κ=μ4/σ4 is the kurtosis parameter. This distribution is asymptotically equivalent to the normal approximation derived from the theorem (the chi-squared distribution converges to normal as the degrees-of-freedom tends to infinity). Despite this equivalence, this approximation has various other properties you would like your approximating distribution to have:

  • Unlike the normal approximation derived directly from the theorem, this distribution has the correct support for the statistic of interest. The sample variance is non-negative, and this distribution is has non-negative support.

  • In the case where the underlying values are normally distributed, this approximation is actually the exact sampling distribution. (In this case we have κ=3 which gives DFn=n1, which is the standard form used in most texts.) It therefore constitutes a result that is exact in an important special case, while still being a reasonable approximation in more general cases.


Derivation of the above result: Approximate distributional results for the sample mean and variance are discussed at length in O'Neill (2014), and this paper provides derivations of many results, including the present approximating distribution.

This derivation starts from the limiting result in the question:

n(Sn2σ2)N(0,σ4(κ1)).

Re-arranging this result we obtain the approximation:

Sn2σ2N(1,κ-1n).

Da die Chi-Quadrat-Verteilung asymptotisch normal ist, wie DF wir haben:

Chi-Sq(DF)DF1DFN(DF,2DF)=N(1,2DF).

Nehmen DFn2/V(Sn2/σ2) (was die obige Formel ergibt) ergibt DFn2n/(κ-1) Dies stellt sicher, dass die Chi-Quadrat-Verteilung asymptotisch der normalen Approximation aus dem Grenzwertsatz entspricht.

Setzen Sie Monica wieder ein
quelle
One empirically interesting question is that which of these two asymptotic results works better in finite sample cases under various underlying data distributions.
lzstat
Ja, ich denke, das wäre eine sehr interessante (und publizierbare) Simulationsstudie. Da die vorliegende Formel auf einer Kurtosis-Korrektur der Varianz der Stichprobenvarianz basiert, würde ich erwarten, dass das vorliegende Ergebnis am besten funktioniert, wenn Sie eine zugrunde liegende Verteilung mit einem Kurtosis-Parameter haben, der weit von mesokurtisch ist (dh, wenn die Kurtosis-Varianz Korrektur ist am wichtigsten). Da die Kurtosis anhand der Stichprobe geschätzt werden müsste, ist offen, wann sich die Gesamtleistung erheblich verbessern würde.
Setzen Sie Monica am