Wann funktioniert Maximum Likelihood und wann nicht?

Ich bin verwirrt über die Maximum-Likelihood-Methode im Vergleich zB zur Berechnung des arithmetischen Mittels.

Wann und warum liefert die maximale Wahrscheinlichkeit "bessere" Schätzungen als z. B. das arithmetische Mittel? Wie ist das überprüfbar?

Während das arithmetische Mittel als "natürlicher" Schätzer klingt, könnte man sich fragen, warum es dem MLE vorzuziehen ist! Die einzige sichere Eigenschaft, die mit dem arithmetischen Mittel assoziiert ist, ist, dass es ein unverzerrter Schätzer von E [ X ] ist, wenn diese Erwartung definiert ist. (Stellen Sie sich die Cauchy-Verteilung als Gegenbeispiel vor.) Die Cauchy-Verteilung besitzt in der Tat unter Gleichmäßigkeitsbedingungen eine breite Palette von Eigenschaften bezüglich der Wahrscheinlichkeitsfunktion. Aus der Wikipedia-Seite auszuleihen ist die MLE$\bar{x}$$\mathbb{E}[X]$

1. konsistent
2. asymptotisch normal
3. effizient, indem es die minimale asymptotische Varianz erreicht
4. Invariante unter bijektiven Transformationen
5. innerhalb des Parametersatzes auch für eingeschränkte Parametersätze

Im Vergleich zum arithmetischen Mittel sind die meisten dieser Eigenschaften auch für ausreichend regelmäßige Verteilungen erfüllt. Ausnahme 4 und 5. Bei Exponentialfamilien sind der MLE und der arithmetische Mittelwert für die Schätzung des Parameters in der Mittelwertparametrisierung identisch (jedoch nicht für andere Parametrisierungen). Und die MLE existiert für eine Stichprobe aus der Cauchy-Distribution.

Wenn Sie sich jedoch Eigenschaften der endlichen Probenoptimalität wie Minimaxität oder Zulässigkeit zuwenden, kann es vorkommen, dass die MLE weder Minimaxität noch Zulässigkeit aufweist. Zum Beispiel zeigt der Stein-Effekt , dass es Schätzer mit einem geringeren quadratischen Risiko für alle Werte des Parameters gibt, unter gewissen Einschränkungen hinsichtlich der Verteilung der Stichprobe und der Dimension des Parameters. Dies ist der Fall, wenn und p ≥ 3 ist .$x\sim\mathcal{N}_p(\theta,I_p)$$p\ge 3$

Wir interpretieren "Berechnung des arithmetischen Mittels" als Schätzung unter Verwendung der Methode der Momente (Method of Moments, MoM). Ich glaube, das ist der ursprünglichen Frage treu, da die Methode theoretische Durchschnittswerte durch Stichproben ersetzt. Es wird auch auf die Bedenken von @ Xi'an bezüglich eines beliebigen Parameters (aus einem beliebigen Modell) eingegangen.

Wenn Sie immer noch bei mir sind, sind Beispiele, bei denen die Methode der Momente in kleinen Stichproben die maximale Wahrscheinlichkeit übertrifft, eine gute Wahl. Der Fragetext weist darauf hin, dass "Maximum-Likelihood-Schätzer (MLE) asymptotisch effizient sind; wir sehen das praktische Ergebnis darin, dass sie häufig besser abschätzen als Momentschätzmethoden (MoM) (wenn sie sich unterscheiden)", und sucht nach bestimmten Fällen, in denen MoM-Schätzer einen kleineren mittleren quadratischen Fehler erzielen als sein MLE-Gegenstück. Einige Beispiele sind im Zusammenhang mit der linearen Regression, der Zwei-Parameter-Inverse-Gauß-Verteilung und einer asymmetrischen exponentiellen Leistungsverteilung zu finden.

Diese Vorstellung von "asymptotischer Effizienz" bedeutet, dass Maximum-Likelihood-Schätzer die Daten wahrscheinlich fast vollständig nutzen (um den fraglichen Parameter zu schätzen), eine Garantie, die Sie mit der Methode der Momente im Allgemeinen nicht erhalten. Während die maximale Wahrscheinlichkeit nicht immer "besser" ist als das Arbeiten mit Durchschnittswerten, macht diese Effizienz-Eigenschaft (wenn auch nur im Grenzbereich) sie für die meisten Frequentisten zu einer Anlaufstelle. Natürlich könnte der Contrarianer argumentieren, dass mit der zunehmenden Größe von Datensätzen, wenn Sie mit einer Funktion von Durchschnittswerten auf das richtige Ziel zeigen, dies auch der Fall ist.

Es gibt mehrere berühmte Beispiele, bei denen die maximale Wahrscheinlichkeit (Maximum Likelihood, ML) nicht die beste Lösung darstellt. Siehe Lucien Le Cams Arbeit von 1990: "Maximum Likelihood: eine Einführung" [1] , die aus seinen eingeladenen Vorlesungen an der Univ. von Maryland.

Das Beispiel, das mir am besten gefällt, weil es so einfach ist, ist folgendes:

$X_j$$Y_j$$j = 1,...,n$$X_j\sim N(\mu_j,\sigma^2)$$Y_j\sim N(\mu_j,\sigma^2)$$j$$X_j$$Y_j$$j$$\sigma^2$

Ich werde den Spaß nicht ruinieren, indem ich Ihnen die Antwort gebe, aber (keine Überraschung) es gibt zwei Möglichkeiten, dies mit ML zu lösen, und sie geben unterschiedliche Lösungen. Eines ist das "arithmetische Mittel" der quadratischen Residuen (wie man erwarten würde), und das andere ist die Hälfte des arithmetischen Mittels. Die Antwort finden Sie hier auf meiner Github-Seite.