Was ist mit dem Standardfehler einer Maximum-Likelihood-Schätzung gemeint?

Ich bin Mathematiker, lerne selbst Statistik und habe vor allem mit der Sprache zu kämpfen.

In dem Buch, das ich verwende, gibt es das folgende Problem:

Eine Zufallsvariable wird als -verteilt mit . (Natürlich können Sie für diese Frage eine beliebige Verteilung in Abhängigkeit von einem Parameter wählen.) Dann wird eine Stichprobe von fünf Werten , , , , gegeben. $X$ $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

Erster Teil: "Verwenden Sie die Methode der maximalen Wahrscheinlichkeit, um eine Schätzung von basierend auf [der Stichprobe] zu finden." Das war kein Problem. Die Antwort lautet . $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

Aber dann: "Geben Sie eine Schätzung für den Standardfehler von ." $\hat{\alpha}$

Was ist damit gemeint? Da nur eine feste reelle Zahl ist, verstehe ich nicht, inwiefern es einen Standardfehler geben könnte. Soll ich die Standardabweichung von bestimmen ? $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

Wenn Sie der Meinung sind, dass die Frage nicht klar ist, helfen mir diese Informationen ebenfalls.

maximum-likelihood Stefan
quelle

Wofür stehen ?

60

$60$

Alecos Papadopoulos

Haben Sie eine Formel für haben

? Dadurch können Sie den Standardfehler abschätzen.

\hat{α}

$\hat \alpha$

Soakley

@ Glen_b Aber wenn es die Untergrenze wäre, wie könnte es sein, dass alle Werte der realisierten Stichprobe kleiner sind?

Alecos Papadopoulos

@ Alecos Das ist ein ausgezeichneter Punkt. Mein Kommentar ergibt keinen Sinn; Ich habe es gelöscht.

Glen_b

@Alecos:

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$ ist die Verteilung mit der Dichte

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

Stefan

Antworten:

Die andere Antwort hat die Herleitung des Standardfehlers behandelt. Ich möchte Ihnen nur bei der Notation helfen:

Ihre Verwirrung beruht auf der Tatsache, dass wir in der Statistik genau dasselbe Symbol verwenden, um den Schätzer (der eine Funktion ist) und einen bestimmten Schätzer (der der Wert ist, den der Schätzer annimmt, wenn er eine bestimmte realisierte Stichprobe als Eingabe erhält) zu bezeichnen.

So und für $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ . So eine Funktion des Zufallsvariablen ist und so eine Zufallsvariable selbst, dassSicherheit eine Varianz hat. $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

Bei der ML-Schätzung können wir in vielen Fällen den asymptotischen Standardfehler berechnen , da die Verteilung der endlichen Stichproben des Schätzers nicht bekannt ist (nicht abgeleitet werden kann).

Streng genommen keine Häufigkeitsverteilung haben, da es zu einer reellen Zahl (in fast allen Fällen von ML Schätzung der wahre Zahl) konvergiert. Aber die Menge $\hat \alpha$ konvergiert auf eine normale Zufallsvariable (durch Anwendung des zentralen Grenzwertsatzes). $\sqrt n (\hat \alpha - \alpha)$

Ein zweiter Punkt , der Notations Verwirrung : die meisten, wenn nicht alle Texte, schreibt ( „Avar“ = asymptotische Varianz ") , während , was sie bedeuten , ist $\text {Avar}(\hat \alpha)$ , dh sieauf der asymptotischen Varianz der Menge beziehen $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ , nicht von... Für den Fall einer basischen ParetoVerteilung haben wir $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

und so ist

Avar (\hat{α}) = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

(aber was Sie geschrieben vorfinden, ist ) $\text {Avar}(\hat \alpha ) = \alpha^2$

Inwiefern hat der Estimator eine "asymptotische Varianz", da er, wie gesagt, asymptotisch gegen eine Konstante konvergiert? Nun, im ungefähren Sinne und für große, aber endliche Proben. Dh irgendwo zwischen einer "kleinen" Stichprobe, bei der der Estimator eine Zufallsvariable mit (normalerweise) unbekannter Verteilung ist, und einer "unendlichen" Stichprobe, bei der der Estimator eine Konstante ist, gibt es dieses "große, aber begrenzte Stichprobengebiet" Der Schätzer ist noch keine Konstante geworden, und seine Verteilung und Varianz wird auf Umwegen abgeleitet, indem zuerst der zentrale Grenzwertsatz verwendet wird, um die richtig asymptotische Verteilung der Größe abzuleiten $\hat \alpha$ $Z = \sqrt n (\hat \alpha - \alpha)$ (was aufgrund der CLT normal ist) und dann die Dinge umdrehen und schreiben (dabei einen Schritt zurückgehen und als endlich behandeln), was zeigt als affine Funktion der normalen Zufallsvariablen und damit normalverteilt (immer ungefähr). $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

Alecos Papadopoulos
quelle

+1 zur Unterscheidung zwischen und - sicherlich kann die Notation inkonsistent sein.

\hat{α}

$\hat{\alpha}$

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

Nate Pope

$\hat{\alpha}$ - ein Maximum-Likelihood-Schätzer - ist eine Funktion einer Zufallsstichprobe und daher auch zufällig (nicht festgelegt). Eine Schätzung des Standardfehlers von kann den Fisher-Informationen entnommen werden. $\hat{\alpha}$

I (θ) = - E [\frac{\partial^{2} L (θ | Y = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

Wobei ; ein Parameter ist und die logarithmische Wahrscheinlichkeitsfunktion von ist, die von der Zufallsstichprobe abhängig ist . Intuitiv geben die Fisher-Informationen die Steilheit der Krümmung der Log-Likelihood-Oberfläche um den MLE an, und damit die Menge an "Informationen", die über liefert . $\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ $\theta$

Für eine -Verteilung mit einer einzelnen Realisierung ist die log-Wahrscheinlichkeit, mit der bekannt ist: $\mathrm{Pareto}(\alpha,y_0)$ $Y = y$ $y_0$

\begin{aligned} L (α | y, y_{0}) & = \log α + α \log y_{0} - (α + 1) \log y \\ L^{'} (α | y, y_{0}) & = \frac{1}{α} + \log y_{0} - \log y \\ L^{″} (α | y, y_{0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$ Wenn Sie die Definition der Fisher-Informationen übernehmen, ist Für eine Stichprobe Der Maximum Likelihood Estimator ist asymptotisch verteilt als: Wobei die Stichprobengröße ist. Da unbekannt ist, können wir einstecken

I (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$

\hat{α}

$\hat{\alpha}$

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) = N (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$

n

$n$

α

$\alpha$

\hat{α}

$\hat{\alpha}$ , um eine Schätzung des Standardfehlers zu erhalten:

S E (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4.6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

Nate Papst
quelle

Für Ihre vorletzte Zeile , die Schreibweise scheint nicht korrekt zu sein. Wenn , kann nicht auf der rechten Seite angezeigt werden. Stattdessen möchten Sie

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$

n \to \infty

$n \to \infty$

n

$n$

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$

align