Ist der Stichprobenmittelwert in gewissem Sinne die „beste“ Schätzung des Verteilungsmittelwerts?

Nach dem (schwachen / starken) Gesetz großer Zahlen bedeutet ihre Stichprobe bei einigen iid-Stichprobenpunkten einer Verteilung $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ konvergiert sowohl in der Wahrscheinlichkeit als auch als zum Verteilungsmittel, wenn die Stichprobengröße $N$ gegen unendlich geht.

Wenn die Stichprobengröße $N$ festgelegt ist, frage ich mich, ob der LLN-Schätzer $f^*$ in gewissem Sinne der beste Schätzer ist. Zum Beispiel,

Seine Erwartung ist das Verteilungsmittel, daher ist es ein unvoreingenommener Schätzer. Seine Varianz ist $\frac{\sigma^2}{N}$ wobei $\sigma^2$ die Verteilungsvarianz ist. Aber ist es UMVU?
Gibt es eine Funktion so dass das Minimierungsproblem löst: $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
Mit anderen Worten, ist die beste für eine Kontrastfunktion im Rahmen des minimalen Kontrasts (vgl. Abschnitt 2.1 "Grundlegende Heuristiken der Schätzung" in " Mathematische Statistik: Grundideen und ausgewählte Themen, Band 1 " von Bickle und Doksum). $f^*$ $l_0$

Wenn beispielsweise bekannt ist, dass die Verteilung aus der Familie der Gaußschen Verteilungen stammt, ist der Stichprobenmittelwert der MLE-Schätzer des Verteilungsmittelwerts, und MLE gehört zum minimalen Kontrastgerüst, und seine Kontrastfunktion ist minus dem Log Wahrscheinlichkeitsfunktion. $l_0$
$l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
$f^*$ $l$ $F$

Beachten Sie, dass die obigen drei verschiedene Interpretationen für eine "beste" Schätzung sind, die ich bisher gekannt habe. Wenn Sie andere mögliche Interpretationen kennen, die für den LLN-Schätzer gelten können, zögern Sie bitte nicht, dies ebenfalls zu erwähnen.

estimation expected-value law-of-large-numbers Tim
quelle

Eine weitere Möglichkeit , einen Schätzer zu charakterisieren: Bitte lesen Sie über konsistenten Schätzer hier . Der Stichprobenmittelwert ist aufgrund der LLN konsistent.

Rohit Banga

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

Vielen Dank! Aber wie wird seine Varianz berechnet?

Tim

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

Antworten:

$l_0$ $(x-u)^2$ $(x-u)'(x-u)$

Ein minimaler Kontrastschätzer ist unter bestimmten technischen Bedingungen sowohl konsistent als auch asymptotisch normal. Für den Stichprobenmittelwert folgt dies bereits aus dem LLN und dem zentralen Grenzwertsatz. Ich weiß nicht, dass minimale Kontrastschätzer in irgendeiner Weise "optimal" sind. Das Schöne an Minimalkontrastschätzern ist, dass viele robuste Schätzer (z. B. der Median, Huber-Schätzer, Stichprobenquantile) in diese Familie fallen, und wir können daraus schließen, dass sie konsistent und asymptotisch normal sind, wenn wir nur den allgemeinen Satz für Minimalkontrastschätzer anwenden solange wir einige technische Bedingungen überprüfen (obwohl dies oft viel schwieriger ist, als es sich anhört).

Ein Begriff der Optimalität, den Sie in Ihrer Frage nicht erwähnen, ist die Effizienz, bei der es grob gesagt darum geht, wie groß eine Stichprobe ist, um eine Schätzung einer bestimmten Qualität zu erhalten. Unter http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency finden Sie einen Vergleich der Effizienz von Mittelwert und Median (Mittelwert ist effizienter, aber der Median ist robuster gegenüber Ausreißern).

$x_i$

$f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

DavidR
quelle

Vielen Dank! Gibt es einige gute Referenzen zu Eigenschaften des Schätzers für minimalen Kontrast, wie konsistent und asymptotisch normal, sowie Beispiele wie den Median, Huber-Schätzer, Stichprobenquantile?

Tim

Abschnitt 5.2.2 des von Ihnen zitierten Bickel & Doksum-Buches enthält einen Satz über die Konsistenz von Schätzern für den minimalen Kontrast. In Abschnitt 5.4.2 wird die asymptotische Normalität erörtert. Eine andere Quelle, die ich empfehle und die die anderen von mir erwähnten Schätzer behandelt, ist van der Vaarts Buch Asymptotic Statistics . Kapitel 5 befasst sich mit M-Schätzern, wie er für Schätzer mit minimalem Kontrast steht.

DavidR

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

Ich meine die euklidische Standardnorm - ich habe sie zur Verdeutlichung in Vektornotation geändert.

DavidR

l

$l$