Warum schätzen wir den Mittelwert mithilfe von MLE, wenn wir bereits wissen, dass der Mittelwert der Durchschnitt der Daten ist?

Ich bin auf ein Problem im Lehrbuch gestoßen, um den Mittelwert abzuschätzen. Das Lehrbuchproblem ist wie folgt:

Es sei angenommen, dass $N$ Datenpunkte $x_1$ , $x_2$ ,. . . , $x_N$ , wurden durch ein eindimensionales Gaußsches PDF mit unbekanntem Mittelwert, aber bekannter Varianz erzeugt. Leiten Sie die ML-Schätzung des Mittelwerts ab.

Meine Frage ist: Warum müssen wir den Mittelwert mithilfe von MLE schätzen, wenn wir bereits wissen, dass der Mittelwert der Durchschnitt der Daten ist? Die Lösung besagt auch, dass die MLE-Schätzung der Durchschnitt der Daten ist. Muss ich alle anstrengenden MLE-Maximierungsschritte ausführen, um herauszufinden, dass der Mittelwert nichts anderes als der Durchschnitt der Daten ist, dh $(x_1+x_2+\cdots+x_N)/N$ ?

self-study normal-distribution maximum-likelihood Niranjan Kotha
quelle

Sie können durch zwei verschiedene Bedeutungen des Wortes "Mittelwert" verwechselt werden. In dieser Frage beziehen Sie sich damit auf (a) einen Parameter einer Familie von Gaußschen Verteilungen und (b) eine Statistik, die aus Daten berechnet werden kann. Vielleicht möchten Sie herausfinden, was diese Site über MLE und Parameter zu sagen hat .

whuber

Was ist mit der Referenz für das von Ihnen zitierte Lehrbuch?

Xi'an

Antworten:

Warum müssen wir den Mittelwert mithilfe von MLE schätzen, wenn wir bereits wissen, dass der Mittelwert der Durchschnitt der Daten ist?

Das Lehrbuchproblem besagt, dass von $x_1,x_2,\dots,x_N$ Sie sagen dir, dassbekannt ist, abergeschätzt werden muss.

x \sim \frac{1}{\sqrt{2 π} σ} e^{- - \frac{(x - - μ)^{2}}{2 σ^{2}}}

$x\sim\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

σ

$\sigma$

μ

$\mu$

Ist es wirklich so offensichtlich , dass eine gute Schätzung ? $\hat\mu=\bar x$

Hier ist . $\bar x=\frac{1}{N}\sum_{i=1}^Nx_i$

Es war mir nicht klar und ich war ziemlich überrascht zu sehen, dass es sich tatsächlich um eine MLE-Schätzung handelt.

Beachten Sie auch Folgendes: Was wäre, wenn bekannt und unbekannt wäre? In diesem Fall ist MLE Schätzer $\mu$ $\sigma$

{\hat{σ}}^{2} = \frac{1}{N.} \sum_{ich = 1}^{N.} (x - - \bar{x})^{2}

$\hat\sigma^2=\frac{1}{N}\sum_{i=1}^N(x-\bar x)^2$

Beachten Sie, dass dieser Schätzer nicht mit einem Stichprobenvarianzschätzer identisch ist! Wissen wir nicht bereits, dass die Stichprobenvarianz durch die folgende Gleichung gegeben ist?

s^{2} = \frac{1}{N. - - 1} \sum_{ich} (x - - \bar{x})^{2}

$s^2=\frac{1}{N-1}\sum_{i}(x-\bar x)^2$

Aksakal
quelle

nitpicky Haustier ärgern:

ist nicht die

ist.

s^{2}

$s^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

Cliff AB

@CliffAB Ich denke, es gibt keinen Mangel an Unterstützung dafür,

"die Stichprobenvarianz" zu nennen. Nur als Beispiel nennt die Wikipedia-Seite über Bessels Korrektur es so. Viele Bücher auch. Ich würde es vorziehen , in Richtung Ihrer Terminologie mich zu lehnen , aber ich denke , es ist wahrscheinlich zu stark zu sagen ,

ist nicht die Stichprobenvarianz in diesen Tagen - die Terminologie sehr weit verbreitet ist, wahrscheinlich weiter verbreitet als Aufruf

durch das Name

s_{N - 1}^{2}

$s^2_{N-1}$

s_{N - 1}^{2}

$s^2_{N-1}$

s_{N}^{2}

$s^2_N$

Glen_b -Reinstate Monica

@Glen_b Ich wurde erzogen, um

die "Stichprobenvarianz" (wie in "Varianz der Stichprobe an sich") und

die "(geschätzte) Populationsvarianz" (wie in der unvoreingenommenen Schätzung) zu nennen , wie dieser Beitrag zeigt, ist

auch ein nützlicher Schätzer. Aber ich habe vor ein paar Jahren eine (nicht zufällige) "Umfrage" in Lehrbüchern und Taschenrechnerhandbüchern durchgeführt und festgestellt, dass meine Verwendung stark in der Minderheit liegt, obwohl ich viele Beispiele für beides gefunden habe. Ich weiß nicht, ob dies ein Trend ist. [Auch das gute alte

und

sind irritierend mehrdeutig manchmal ...

s_{N}^{2}

$s_N^2$

s_{N - 1}^{2}

$s_{N-1}^2$

s_{N}

$s_N$

s

$s$

\hat{σ}

$\hat \sigma$

N

$N$

N - 1

$N-1$

Silverfish

@CliffAB, ich habe gesehen, dass

in der Ökonometrie häufig für eine Stichprobenvarianz und

für Populationsparameter verwendet wird, z. B. in Greene "Econometric Analysis".

s^{2}

$s^2$

σ^{2}

$\sigma^2$

Aksakal

@CliffAB, ich habe die Terminologie nicht erstellt, aber vielleicht war das Grundprinzip in der Ökonometrie, dass es immer mehr als einen Schätzer für irgendetwas gibt, einschließlich der Varianz.

wäre spezifisch genug , um nicht, wie es scheint zu einem beliebigen Anzahl von Schätzer ein beziehen könnte kommen mit, während

ein spezifisches hat die durchschnittlichen quadratischen Abweichungen bedeuten. Nun ist im OLS-Kontext

{\hat{σ}}^{2}

$\hat\sigma^2$

s^{2}

$s^2$

, wobei

die Anzahl der Parameter ist. Wie Sie sehen, ist es nicht immer

, daher ist auch diese Notation nicht absolut spezifisch, aber es wird angenommen, dass wir die Anzahl der Parameter anpassen.

s^{2} = \frac{e^{'} e}{N - k}

$s^2=\frac{e'e}{N-k}$

k

$k$

N - 1

$N-1$

Aksakal

In diesem Fall wird der Durchschnitt der Probe geschieht auch der Maximum - Likelihood - Schätzer sein. Wenn Sie also die gesamte Arbeit ableiten, fühlt sich die MLE wie eine unnötige Übung an, da Sie zu Ihrer intuitiven Schätzung des Mittelwerts zurückkehren, den Sie ursprünglich verwendet hätten. Nun, das war nicht "nur Zufall"; Dies wurde speziell gewählt, um zu zeigen, dass MLE-Schätzer häufig zu intuitiven Schätzern führen.

Aber was wäre, wenn es keinen intuitiven Schätzer gäbe? Angenommen, Sie hatten eine Stichprobe von iid-Gamma-Zufallsvariablen und waren daran interessiert, die Form und die Ratenparameter abzuschätzen. Vielleicht könnten Sie versuchen, einen Schätzer aus den Eigenschaften zu ermitteln, die Sie über Gamma-Verteilungen kennen. Aber was wäre der beste Weg, dies zu tun? Verwenden Sie eine Kombination aus geschätztem Mittelwert und Varianz? Warum nicht den geschätzten Median anstelle des Mittelwerts verwenden? Oder der Log-Mittelwert? Diese alle könnten verwendet werden, um eine Art Schätzer zu erstellen, aber welcher wird ein guter sein?

Wie sich herausstellt, gibt uns die MLE-Theorie eine großartige Möglichkeit, eine prägnante Antwort auf diese Frage zu erhalten: Nehmen Sie die Werte der Parameter, die die Wahrscheinlichkeit der beobachteten Daten maximieren (was ziemlich intuitiv erscheint), und verwenden Sie diese als Ihre Schätzung. Tatsächlich haben wir eine Theorie, die besagt, dass dies unter bestimmten Bedingungen ungefähr der beste Schätzer ist. Dies ist viel besser, als zu versuchen, einen eindeutigen Schätzer für jeden Datentyp zu ermitteln und dann viel Zeit zu investieren, um sich Sorgen zu machen, ob dies wirklich die beste Wahl ist.

Kurz gesagt: Während MLE bei der Schätzung des Mittelwerts normaler Daten keine neuen Erkenntnisse liefert , ist es im Allgemeinen ein sehr, sehr nützliches Werkzeug.

Cliff AB
quelle

Es ist eine Frage des verwirrenden Wortschatzes, wie diese Zitate direkt von Google zeigen:

durchschnittliches
Substantiv: durchschnittlich; Plural Nomen: Durchschnittswerte

eine Zahl, die den zentralen oder typischen Wert in einem Datensatz ausdrückt, insbesondere den Modus, den Median oder (am häufigsten) den Mittelwert, der berechnet wird, indem die Summe der Werte im Satz durch ihre Zahl dividiert wird. "Der Anteil der über 60-Jährigen liegt über dem EU-Durchschnitt von 19 Prozent" Synonyme: Mittelwert, Median, Modus, Mittelpunkt, Zentrum

$\bar{x}$ $\mu$ $\mathfrak{N}(\mu,\sigma²)$

bedeuten

In der Mathematik hat der Mittelwert je nach Kontext verschiedene Definitionen.

$\mu = \sum x P(x)$

$x_1, x_2, ..., x_n$ $\bar{x}$ $\bar{x}$ $\mu$ $\mu_x$

Wie in diesem Wikipedia- Eintrag vorgeschlagen, gilt der Mittelwert sowohl für Verteilungen als auch für Stichproben oder Datensätze. Der Mittelwert eines Datensatzes oder einer Stichprobe ist auch der Mittelwert der mit dieser Stichprobe verbundenen empirischen Verteilung. Der Eintrag veranschaulicht auch die Möglichkeit einer Verwechslung zwischen den Begriffen, da er Durchschnitt und Erwartung als Synonyme angibt.

Erwartungsnomen : Erwartung; Plural Nomen: Erwartungen

Mathematik: ein anderer Begriff für den erwarteten Wert.

E. [X.]] = \int_{X.} x d P. (x)

$\mathbb{E}[X]=\int_\mathcal{X} x\text{d}P(x)$

Xi'an
quelle