Warum ist MLE sinnvoll, wenn die Wahrscheinlichkeit einer einzelnen Stichprobe 0 ist?

Dies ist ein seltsamer Gedanke, den ich hatte, als ich einige alte Statistiken durchgesehen habe, und aus irgendeinem Grund kann ich mir die Antwort nicht vorstellen.

Ein fortlaufendes PDF zeigt die Dichte der beobachteten Werte in einem bestimmten Bereich an. Wenn beispielsweise $X \sim N(\mu,\sigma^2)$ ist, dann ist die Wahrscheinlichkeit, dass eine Realisierung zwischen $a$ und $b$ fällt, einfach $\int_a^{b}\phi(x)dx$ wobei $\phi$ die Dichte der Standardnormalen ist.

Wenn wir darüber nachdenken, eine MLE-Schätzung eines Parameters, beispielsweise von $\mu$ , durchzuführen , schreiben wir die gemeinsame Dichte von beispielsweise $N$ Zufallsvariablen $X_1 .. X_N$ und differenziere die log-Likelihood wrt zu $\mu$ , setze gleich 0 und löse nach $\mu$ . Die häufig gegebene Interpretation ist "angesichts der Daten, welche Parameter diese Dichtefunktion am plausibelsten machen".

Der Teil, der mich nervt, ist folgender: Wir haben eine Dichte von $N$ rv, und die Wahrscheinlichkeit, dass wir eine bestimmte Realisierung erhalten, sagen wir, unsere Stichprobe, ist genau 0. Warum ist es überhaupt sinnvoll, die Fugendichte angesichts unserer Daten zu maximieren ( da ist die wahrscheinlichkeit, unsere aktuelle probe zu beobachten, wieder genau 0)?

Die einzige Rationalisierung, die ich finden könnte, besteht darin, dass wir das PDF so weit wie möglich um unsere beobachtete Stichprobe schärfen möchten, damit das Integral in der Region (und damit die Wahrscheinlichkeit, Dinge in dieser Region zu beobachten) am höchsten ist.

Die Wahrscheinlichkeit einer Stichprobe, $\mathbb{P}_\theta(X=x)$ , ist gleich Null, und dennoch wird eine Stichprobe durch Ziehen aus einer Wahrscheinlichkeitsverteilung realisiert. Die Wahrscheinlichkeit ist daher das falsche Werkzeug für die Bewertung einer Stichprobe und die Wahrscheinlichkeit ihres Auftretens. Die statistische Wahrscheinlichkeit, wie sie von Fisher (1912) definiert wurde, basiert auf dem einschränkenden Argument der Wahrscheinlichkeit, die Stichprobe $x$ innerhalb eines Intervalls der Länge $\delta$ wenn $\delta$ gegen Null geht (zitiert nach Aldrich, 1997) :

$\qquad\qquad\qquad$

bei Renormierung dieser Wahrscheinlichkeit um $\delta$ . Der Begriff der Wahrscheinlichkeitsfunktion wird nur in Fisher (1921) und der Begriff der maximalen Wahrscheinlichkeit in Fisher (1922) eingeführt.

Obwohl er unter die Bezeichnung "wahrscheinlichster Wert" fiel und ein Prinzip der inversen Wahrscheinlichkeit (Bayes'sche Inferenz) mit einem flachen Prior verwendete, hatte Carl Friedrich Gauß bereits 1809 einen Maximum-Likelihood-Schätzer für den Varianzparameter einer Normalverteilung abgeleitet. Hald (1999) erwähnt mehrere andere Vorkommen von Maximum-Likelihood-Schätzern vor Fisher's Arbeit von 1912, die das allgemeine Prinzip festlegte.

Eine spätere Rechtfertigung des Maximum-Likelihood-Ansatzes ist, dass, da die renormierte Log-Likelihood einer Stichprobe $(x_1,\ldots,x_n)$

$$\frac{1}{n} \sum_{i=1}^n \log f_\theta(x_i)$$ konvergiert gegen [Gesetz der großen Zahlen] $$\mathbb{E}[\log f_\theta(X)]=\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ (wobei$f_0$ die wahre Dichte der iid-Probe bezeichnet), die Maximierung der Wahrscheinlichkeit [als Funktion von$\theta$ ] ist asymptotisch äquivalent zur Minimierung [in$\theta$ ] der Kullback-Leibler-Divergenz $$\int \log \dfrac{f_0(x)}{f_\theta(x)}\, f_0(x)\,\text{d}x=\underbrace{\int \log f_0(x)\,f_0(x)\,\text{d}x}_{\text{constant}\\\text{in }\theta}-\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ zwischen der wahren Verteilung der iid-Probe und der Verteilungsfamilie, die durch die$f_\theta$ thgr ; 's dargestellt wird.