Für welche Verteilungen gibt es einen geschlossenen unverzerrten Schätzer für die Standardabweichung?

Für die Normalverteilung gibt es einen unverzerrten Schätzer für die Standardabweichung, gegeben durch:

{\hat{σ}}_{unbiased} = \frac{Γ (\frac{n - 1}{2})}{Γ (\frac{n}{2})} \sqrt{\frac{1}{2} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}}

$\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2}$

Der Grund, warum dieses Ergebnis nicht so gut bekannt ist, scheint darin zu liegen, dass es sich größtenteils um eine Kuriosität und nicht um eine Angelegenheit von großer Bedeutung handelt . Der Beweis ist auf diesem Thread abgedeckt ; es nutzt eine Schlüsseleigenschaft der Normalverteilung:

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

Von dort ist es mit ein wenig Arbeit möglich, die Erwartung $\mathbb{E}\left( \sqrt{\sum_{k=1}^n(x_i-\bar{x})^2} \right)$ , und durch diese Antwort als ein Vielfaches des Identifizierens $\sigma$ , können wir das Ergebnis herleiten. $\hat{\sigma}_\text{unbiased}$

Das macht mich neugierig, welche anderen Verteilungen eine geschlossene, unvoreingenommene Schätzung der Standardabweichung haben. Anders als beim unverzerrten Schätzer der Varianz ist dies eindeutig verteilungsspezifisch. Darüber hinaus wäre es nicht einfach, den Beweis anzupassen, um Schätzer für andere Verteilungen zu finden.

Die Schrägnormalverteilungen haben einige schöne Verteilungseigenschaften für ihre quadratischen Formen, von denen die von uns verwendete Normalverteilungseigenschaft tatsächlich ein Sonderfall ist (da das Normale eine spezielle Art von Schrägnormal ist), weshalb es vielleicht nicht so schwer sein würde erweitern Sie diese Methode auf sie. Für andere Distributionen scheint jedoch ein völlig anderer Ansatz erforderlich zu sein.

Gibt es andere Distributionen, für die solche Schätzer bekannt sind?

mathematical-statistics standard-deviation unbiased-estimator Silberfisch
quelle

Wenn Sie technische Ablenkungen ignorieren, wird die Art der Antwort klarer. Im Normalfall ist wenig von dem, was Sie schreiben, für die Schlussfolgerung wirklich relevant. Alles, was zählt, ist, dass das Ausmaß der Verzerrung in diesem bestimmten Schätzer eine Funktion von

allein ist (und nicht von anderen Verteilungsparametern abhängt, die aus den Daten geschätzt werden müssen).

n

$n$

Whuber

@whuber Ich denke, ich kann die allgemeine Idee sehen, auf die Sie hinweisen, und klar "Funktion von

allein" ist notwendig. Aber ich denke nicht, dass es ausreichen würde - wenn wir keinen Zugang zu einigen guten Verteilungsergebnissen hätten, dann kann ich nicht sehen, wie der Aspekt "geschlossene Form" praktikabel wäre.

n

$n$

Silverfish

Es kommt darauf an, was Sie unter "geschlossener Form" verstehen. Beispielsweise kann eine Theta-Funktion für eine Person "geschlossen" sein, für eine andere Person ist sie jedoch nur ein unendliches Produkt, eine Potenzreihe oder ein komplexes Integral. Kommen Sie und denken Sie darüber nach, genau das ist eine Gamma-Funktion :-).

whuber

@whuber Guter Punkt! Mit "der Größe der Verzerrung in diesem bestimmten Schätzer" meine ich, dass die Verzerrung in

(und nicht in dem in der Frage aufgelisteten Schätzer, der keine Verzerrung aufweist) eine Funktion von

(und auch in

, aber glücklicherweise) ist auf eine Weise, die es uns leicht macht, einen unvoreingenommenen Schätzer zu finden)?

s

$s$

n

$n$

σ

$\sigma$

Silberfischchen

@whuber: Es sollte eine ähnliche Formel für jede Location-Scale-Familie geben, mit der Einschränkung, dass die Funktion von

ein unlösbares Integral sein kann.

n

$n$

Xi'an

Antworten:

Obwohl dies nicht direkt mit der Frage zusammenhängt, gibt es eine Veröffentlichung von Peter Bickel und Erich Lehmann aus dem Jahr 1968 , die besagt, dass für eine konvexe Familie von Verteilungen ein unverzerrter Schätzer für ein funktionales (für eine Stichprobengröße) existiert groß genug ist ) , wenn und nur wenn ein Polynom in $F$ $q(F)$ $n$ $q(\alpha F+(1-\alpha)G)$ $0\le \alpha\le 1$ . Dieser Satz gilt hier nicht für das Problem, da die Sammlung der Gaußschen Verteilungen nicht konvex ist (eine Mischung von Gaußschen ist keine Gaußsche).

Eine Erweiterung des Ergebnisses in der Frage ist, dass jede Potenz der Standardabweichung vorurteilsfrei geschätzt werden kann, vorausgesetzt, es gibt genügend Beobachtungen, wenn . Dies folgt aus dem Ergebnis $\sigma^\alpha$ $\alpha<0$ , dassdie Skala ist (und einzigartige) Parameter für.

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

σ

$\sigma$

\sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}

$\sum_{k=1}^n(x_i-\bar{x})^2$

Diese normale Einstellung kann dann auf jede mit einer endlichen Varianz . Tatsächlich,

X_{1}, \dots, X_{n} \overset{iid}{\sim} τ^{- 1} f (τ^{- 1} {x - μ})

$X_1,\ldots,X_n\stackrel{\text{iid}}{\sim} \tau^{-1}f(\tau^{-1}\{x-\mu\})$

σ^{2}

$\sigma^2$

die Varianz ist nur eine Funktion von ; ${var}_{μ, τ} (X) = E_{μ, τ} [(X - μ)^{2}] = τ^{2} E_{0, 1} [X^{2}]$ $\text{var}_{\mu,\tau}(X)=\mathbb{E}_{\mu,\tau}[(X-\mu)^2]=\tau^2\mathbb{E}_{0,1}[X^2]$ $\tau$
die Summe der Quadrate hat eine Erwartung der Form; $\begin{aligned} E_{μ, τ} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] & = τ^{2} E_{μ, τ} [\sum_{k = 1}^{n} τ^{- 2} (X_{i} - μ - \bar{X} + μ)^{2}] \\ = τ^{2} E_{0, 1} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] \end{aligned}$ $\begin{align*}\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]&=\tau^2\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n\tau^{-2}(X_i-\mu-\bar{X}+\mu)^2\right]\\ &=\tau^2\mathbb{E}_{0,1}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]\end{align*}$ $\tau^2\psi(n)$
und in ähnlicher Weise für jeden Leistungs so, dass die Erwartung endlich ist. $E_{μ, τ} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}] = τ^{2 α} E_{0, 1} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}]$ $\mathbb{E}_{\mu,\tau}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]=\tau^{2\alpha}\mathbb{E}_{0,1}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]$

Xi'an
quelle

Ein wohl bekannter Fall, aber dennoch ein Fall.
Betrachten Sie eine stetige Gleichverteilung . Bei gegebener iid-Stichprobe hat die maximale Ordnungsstatistik den erwarteten Wert $U(0,\theta)$ $X_{(n)}$

E (X_{(n)}) = \frac{n}{n + 1} θ

$E(X_{(n)}) = \frac {n}{n+1}\theta$

Die Standardabweichung der Verteilung ist

σ = \frac{θ}{2 \sqrt{3}}

$\sigma = \frac {\theta}{2\sqrt 3}$

So Schätzer

\hat{σ} = \frac{1}{2 \sqrt{3}} \frac{n + 1}{n} X_{(n)}

$\hat \sigma = \frac 1{2\sqrt 3}\frac {n+1}{n}X_{(n)}$

ist offenbar unvoreingenommen für . $\sigma$

Dies verallgemeinert sich auf den Fall, dass die untere Grenze der Verteilung ebenfalls unbekannt ist, da wir einen unverzerrten Schätzer für den Bereich haben können und die Standardabweichung wiederum eine lineare Funktion des Bereichs ist (wie im Wesentlichen auch oben).

Dies ist ein Beispiel für die Bemerkung von @ whuber, dass "das Ausmaß der Verzerrung eine Funktion von allein ist" (plus möglicherweise bekannter Konstanten), so dass es deterministisch korrigiert werden kann . Und das ist hier der Fall. $n$

Alecos Papadopoulos
quelle

Nun der schwierige Teil: Wann in der Welt interessieren wir uns für die Standardabweichung einer Gleichverteilung? (+1)

shadowtalker

@ssdecontrol Das ist eine hervorragende Frage! -Bitte fahren Sie mit dem nächsten fort ...

Alecos Papadopoulos

\hat{θ}

$\hat{\theta}$

@Silverfish Inwiefern arm? Einige schnelle Simulationen zeigen, dass dies einen niedrigeren MSE als die übliche Standardabweichung hat (was mich überraschte).

Dave

@ Dave Interessant! Ich war zu dem Schluss gekommen, dass es schlecht sein würde, da es sich nur um die maximale Bestellstatistik handelte, aber auch ich bin überrascht! Zeigt den Wert einer Simulation ...

Silverfish