Für welche Verteilungen gibt es einen geschlossenen unverzerrten Schätzer für die Standardabweichung?

16

Für die Normalverteilung gibt es einen unverzerrten Schätzer für die Standardabweichung, gegeben durch:

σ^unbiased=Γ(n12)Γ(n2)12k=1n(xix¯)2

Der Grund, warum dieses Ergebnis nicht so gut bekannt ist, scheint darin zu liegen, dass es sich größtenteils um eine Kuriosität und nicht um eine Angelegenheit von großer Bedeutung handelt . Der Beweis ist auf diesem Thread abgedeckt ; es nutzt eine Schlüsseleigenschaft der Normalverteilung:

1σ2k=1n(xix¯)2χn12

Von dort ist es mit ein wenig Arbeit möglich, die Erwartung E(k=1n(xix¯)2), und durch diese Antwort als ein Vielfaches des Identifizierensσ, können wir das Ergebnis herleiten & sgr unvoreingenommene.σ^unbiased

Das macht mich neugierig, welche anderen Verteilungen eine geschlossene, unvoreingenommene Schätzung der Standardabweichung haben. Anders als beim unverzerrten Schätzer der Varianz ist dies eindeutig verteilungsspezifisch. Darüber hinaus wäre es nicht einfach, den Beweis anzupassen, um Schätzer für andere Verteilungen zu finden.

Die Schrägnormalverteilungen haben einige schöne Verteilungseigenschaften für ihre quadratischen Formen, von denen die von uns verwendete Normalverteilungseigenschaft tatsächlich ein Sonderfall ist (da das Normale eine spezielle Art von Schrägnormal ist), weshalb es vielleicht nicht so schwer sein würde erweitern Sie diese Methode auf sie. Für andere Distributionen scheint jedoch ein völlig anderer Ansatz erforderlich zu sein.

Gibt es andere Distributionen, für die solche Schätzer bekannt sind?

Silberfisch
quelle
1
Wenn Sie technische Ablenkungen ignorieren, wird die Art der Antwort klarer. Im Normalfall ist wenig von dem, was Sie schreiben, für die Schlussfolgerung wirklich relevant. Alles, was zählt, ist, dass das Ausmaß der Verzerrung in diesem bestimmten Schätzer eine Funktion von allein ist (und nicht von anderen Verteilungsparametern abhängt, die aus den Daten geschätzt werden müssen). n
Whuber
@whuber Ich denke, ich kann die allgemeine Idee sehen, auf die Sie hinweisen, und klar "Funktion von allein" ist notwendig. Aber ich denke nicht, dass es ausreichen würde - wenn wir keinen Zugang zu einigen guten Verteilungsergebnissen hätten, dann kann ich nicht sehen, wie der Aspekt "geschlossene Form" praktikabel wäre. n
Silverfish
5
Es kommt darauf an, was Sie unter "geschlossener Form" verstehen. Beispielsweise kann eine Theta-Funktion für eine Person "geschlossen" sein, für eine andere Person ist sie jedoch nur ein unendliches Produkt, eine Potenzreihe oder ein komplexes Integral. Kommen Sie und denken Sie darüber nach, genau das ist eine Gamma-Funktion :-).
whuber
@whuber Guter Punkt! Mit "der Größe der Verzerrung in diesem bestimmten Schätzer" meine ich, dass die Verzerrung in (und nicht in dem in der Frage aufgelisteten Schätzer, der keine Verzerrung aufweist) eine Funktion von n (und auch in σ , aber glücklicherweise) ist auf eine Weise, die es uns leicht macht, einen unvoreingenommenen Schätzer zu finden)? snσ
Silberfischchen
1
@whuber: Es sollte eine ähnliche Formel für jede Location-Scale-Familie geben, mit der Einschränkung, dass die Funktion von ein unlösbares Integral sein kann. n
Xi'an

Antworten:

10

Obwohl dies nicht direkt mit der Frage zusammenhängt, gibt es eine Veröffentlichung von Peter Bickel und Erich Lehmann aus dem Jahr 1968 , die besagt, dass für eine konvexe Familie von Verteilungen ein unverzerrter Schätzer für ein funktionales q ( F ) (für eine Stichprobengröße) existiert n groß genug ist ) , wenn und nur wenn q ( α F + ( 1 - α ) G ) ein Polynom in 0 α 1Fq(F)nq(αF+(1α)G)0α1. Dieser Satz gilt hier nicht für das Problem, da die Sammlung der Gaußschen Verteilungen nicht konvex ist (eine Mischung von Gaußschen ist keine Gaußsche).

Eine Erweiterung des Ergebnisses in der Frage ist, dass jede Potenz & der Standardabweichung vorurteilsfrei geschätzt werden kann, vorausgesetzt, es gibt genügend Beobachtungen, wenn & agr; < 0 ist . Dies folgt aus dem Ergebnis 1σαα<0 , dassσdie Skala ist (und einzigartige) Parameter fürΣ n k = 1 (xi- ˉ x )2.

1σ2k=1n(xix¯)2χn12
σk=1n(xix¯)2

Diese normale Einstellung kann dann auf jede Ortsskalenfamilie mit einer endlichen Varianz σ 2 erweitert werden . Tatsächlich,

X1,,Xniidτ1f(τ1{xμ})
σ2
  1. die Varianz ist nur eine Funktion von τ ;
    varμ,τ(X)=Eμ,τ[(Xμ)2]=τ2E0,1[X2]
    τ
  2. die Summe der Quadrate hat eine Erwartung der Formτ2(n);
    Eμ,τ[k=1n(XiX¯)2]=τ2Eμ,τ[k=1nτ2(XiμX¯+μ)2]=τ2E0,1[k=1n(XiX¯)2]
    τ2ψ(n)
  3. und in ähnlicher Weise für jeden Leistungs so, dass die Erwartung endlich ist.
    Eμ,τ[{k=1n(XiX¯)2}α]=τ2αE0,1[{k=1n(XiX¯)2}α]
Xi'an
quelle
10

Ein wohl bekannter Fall, aber dennoch ein Fall.
Betrachten Sie eine stetige Gleichverteilung . Bei gegebener iid-Stichprobe hat die maximale Ordnungsstatistik X ( n ) den erwarteten WertU(0,θ)X(n)

E(X(n))=nn+1θ

Die Standardabweichung der Verteilung ist

σ=θ23

So Schätzer σ = 1

σ^=123n+1nX(n)

ist offenbar unvoreingenommen für . σ

Dies verallgemeinert sich auf den Fall, dass die untere Grenze der Verteilung ebenfalls unbekannt ist, da wir einen unverzerrten Schätzer für den Bereich haben können und die Standardabweichung wiederum eine lineare Funktion des Bereichs ist (wie im Wesentlichen auch oben).

Dies ist ein Beispiel für die Bemerkung von @ whuber, dass "das Ausmaß der Verzerrung eine Funktion von allein ist" (plus möglicherweise bekannter Konstanten), so dass es deterministisch korrigiert werden kann . Und das ist hier der Fall.n

Alecos Papadopoulos
quelle
4
Nun der schwierige Teil: Wann in der Welt interessieren wir uns für die Standardabweichung einer Gleichverteilung? (+1)
shadowtalker
1
@ssdecontrol Das ist eine hervorragende Frage! -Bitte fahren Sie mit dem nächsten fort ...
Alecos Papadopoulos
2
θ^
1
@Silverfish Inwiefern arm? Einige schnelle Simulationen zeigen, dass dies einen niedrigeren MSE als die übliche Standardabweichung hat (was mich überraschte).
Dave
@ Dave Interessant! Ich war zu dem Schluss gekommen, dass es schlecht sein würde, da es sich nur um die maximale Bestellstatistik handelte, aber auch ich bin überrascht! Zeigt den Wert einer Simulation ...
Silverfish