Wie hat die Maximum-Likelihood-Schätzung eine ungefähre Normalverteilung?

Ich habe über MLE als Methode zur Erzeugung einer angepassten Verteilung gelesen.

Ich bin auf eine Aussage gestoßen, die besagt, dass Schätzungen der maximalen Wahrscheinlichkeit "ungefähre Normalverteilungen haben".

Bedeutet dies, dass die Modelle, die ich erhalte, normal verteilt werden, wenn ich MLE wiederholt auf meine Daten und die Verteilungsfamilie anwende, an die ich mich anpassen möchte? Wie genau hat eine Folge von Verteilungen eine Verteilung?

Schätzer sind Statistiken, und Statistiken haben Stichprobenverteilungen (das heißt, wir sprechen über die Situation, in der Sie weiterhin Stichproben derselben Größe zeichnen und die Verteilung der Schätzungen betrachten, die Sie erhalten, eine für jede Stichprobe).

Das Zitat bezieht sich auf die Verteilung von MLEs, wenn sich die Stichprobengröße der Unendlichkeit nähert.

Betrachten wir also ein explizites Beispiel, den Parameter einer Exponentialverteilung (unter Verwendung der Skalenparametrisierung, nicht der Ratenparametrisierung).

$\hat \mu = \bar x$$n$$\bar X$

Wenn wir wiederholte Proben der Größe 1 nehmen, ist die resultierende Dichte des Probenmittels im Diagramm oben links angegeben. Wenn wir wiederholte Proben jeder Größe 2 nehmen, ist die resultierende Dichte des Probenmittels im Diagramm oben rechts angegeben. Zum Zeitpunkt n = 25 unten rechts sieht die Verteilung der Stichprobenmittel bereits viel normaler aus.

$1/\bar X$$\lambda=1/\mu$

Nun die Formparameter einer Verteilungs Gamma betrachtet mit bekannter Skala Mittelwert (hier mit einer mittleren & Form Parametrisierung statt Skala & Form).

Der Schätzer ist in diesem Fall nicht geschlossen, und die CLT gilt nicht für ihn (wiederum zumindest nicht direkt *), aber dennoch ist der Argmax der Wahrscheinlichkeitsfunktion MLE. Wenn Sie immer größere Stichproben entnehmen, wird die Stichprobenverteilung der Formparameterschätzung normaler.

$n$

- -

$\hat{\theta}$$\hat{\theta}$

Beachten Sie auch, dass der Effekt, den wir sehen, wenn wir kleine Stichproben betrachten (zumindest im Vergleich zur Unendlichkeit klein) - das regelmäßige Fortschreiten zur Normalität in einer Vielzahl von Situationen, wie wir durch die obigen Darstellungen motiviert sehen - darauf hindeutet, dass wenn Wir haben das PDF einer standardisierten Statistik betrachtet. Möglicherweise gibt es eine Version einer Berry-Esseen-Ungleichung, die auf einem ähnlichen Ansatz basiert wie die Verwendung eines CLT-Arguments mit MLEs, das Grenzen dafür festlegt, wie langsam sich die Stichprobenverteilung der Normalität annähern kann. Ich habe so etwas noch nicht gesehen, aber es würde mich nicht überraschen, wenn ich feststellen würde, dass es getan wurde.