Intuitives Denken hinter voreingenommenen Maximum-Likelihood-Schätzern

Ich bin verwirrt über voreingenommene Maximum-Likelihood- Schätzer (ML). Die Mathematik des gesamten Konzepts ist mir ziemlich klar, aber ich kann die intuitive Argumentation dahinter nicht verstehen.

Bei einem bestimmten Datensatz, der Stichproben aus einer Verteilung enthält, die selbst eine Funktion eines Parameters ist, den wir schätzen möchten, ergibt der ML-Schätzer den Wert für den Parameter, der am wahrscheinlichsten den Datensatz erzeugt.

Ich kann einen voreingenommenen ML-Schätzer nicht in dem Sinne intuitiv verstehen, dass: Wie kann der wahrscheinlichste Wert für den Parameter den tatsächlichen Wert des Parameters mit einer Tendenz zu einem falschen Wert vorhersagen?

Der ML-Schätzer ergibt den Wert für den Parameter, der am wahrscheinlichsten im Datensatz vorkommt.

Unter den gegebenen Annahmen ist der ML-Schätzer der Wert des Parameters, der die beste Chance hat, den Datensatz zu erzeugen.

Ich kann einen voreingenommenen ML-Schätzer nicht intuitiv in dem Sinne verstehen, dass "Wie kann der wahrscheinlichste Wert für den Parameter den tatsächlichen Wert des Parameters mit einer Tendenz zu einem falschen Wert vorhersagen?"

Bei der Verzerrung geht es um Erwartungen an Stichprobenverteilungen. "Am wahrscheinlichsten, um die Daten zu produzieren" geht es nicht um Erwartungen an Stichprobenverteilungen. Warum sollte von ihnen erwartet werden, dass sie zusammen gehen?

Auf welcher Grundlage stimmen sie überraschenderweise nicht unbedingt überein?

Ich würde vorschlagen, Sie betrachten einige einfache Fälle von MLE und überlegen, wie der Unterschied in diesen bestimmten Fällen entsteht.

Betrachten Sie als Beispiel Beobachtungen an einer Uniform an . Die größte Beobachtung ist (notwendigerweise) nicht größer als der Parameter, daher kann der Parameter nur Werte annehmen, die mindestens so groß sind wie die größte Beobachtung.$(0,\theta)$

Wenn Sie die Wahrscheinlichkeit für , ist sie (offensichtlich) umso größer, je näher θ an der größten Beobachtung liegt. So ist es bei der größten Beobachtung maximiert ; Das ist eindeutig die Schätzung für θ , die die Chance maximiert, die Probe zu erhalten, die Sie erhalten haben:$\theta$$\theta$$\theta$

$\theta$$\theta$

$U(0,\theta)$$\frac{n}{n+1}$$\theta$$\hat\theta=\frac{n+1}{n}X_{(n)}$$X_{(n)}$

Dies liegt rechts von der MLE und hat daher eine geringere Wahrscheinlichkeit.

$\beta^{MLE}$$\beta$$\beta$$\beta^{MLE}$

MLE ist nur asymptotisch unverzerrt, und häufig können Sie den Schätzer so einstellen, dass er sich in endlichen Stichproben besser verhält. Beispielsweise ist die MLE der Varianz einer Zufallsvariablen ein Beispiel, bei dem mit multipliziert wird$\frac{N}{N-1}$

Hier ist meine Intuition.

Die Abweichung ist ein Maß für die Genauigkeit , aber es gibt auch einen Begriff für die Präzision .

In einer idealen Welt würden wir die Schätzung erhalten, die sowohl präzise als auch genau ist, dh immer ins Schwarze trifft. Leider müssen wir in unserer unvollkommenen Welt Genauigkeit und Präzision in Einklang bringen. Manchmal haben wir das Gefühl, wir könnten ein bisschen Genauigkeit geben, um präziser zu werden: Wir müssen ständig Kompromisse eingehen. Daher bedeutet die Tatsache, dass ein Schätzer voreingenommen ist, nicht, dass es schlecht ist: Es könnte sein, dass es genauer ist.