MLE gegen kleinste Quadrate in passenden Wahrscheinlichkeitsverteilungen

18

Der Eindruck, den ich aufgrund mehrerer Veröffentlichungen, Bücher und Artikel gewonnen habe, ist, dass die empfohlene Methode zum Anpassen einer Wahrscheinlichkeitsverteilung an einen Datensatz die Verwendung der Maximum Likelihood Estimation (MLE) ist. Als Physiker ist es jedoch intuitiver, das PDF des Modells mit Hilfe der kleinsten Quadrate an das empirische PDF der Daten anzupassen. Warum ist MLE dann besser als die kleinsten Quadrate bei der Anpassung der Wahrscheinlichkeitsverteilungen? Könnte mich jemand auf ein wissenschaftliches Dokument / Buch hinweisen, das diese Frage beantwortet?

Meine Vermutung ist, dass MLE kein Rauschmodell annimmt und das "Rauschen" im empirischen PDF heteroskedastisch und nicht normal ist.

distributions maximum-likelihood least-squares heteroscedasticity fitting Christian Alis
quelle

Antworten:

2

Eine nützliche Art, darüber nachzudenken, besteht darin, zu beachten, dass es Fälle gibt, in denen die kleinsten Quadrate und der MLE gleich sind, z. B. das Schätzen der Parameter, bei denen das zufällige Element eine Normalverteilung aufweist. Anstatt (wie Sie spekulieren), dass der MLE kein Rauschmodell annimmt, wird angenommen, dass es zufälliges Rauschen gibt, sondern es wird eine differenziertere Sicht auf die Form des Rauschmodells als auf die Annahme des Rauschmodells verwendet hat eine Normalverteilung.

Jedes Lehrbuch über statistische Inferenz wird sich mit den positiven Eigenschaften von MLEs in Bezug auf Effizienz und Konsistenz befassen (aber nicht unbedingt voreingenommen sein). MLEs haben auch die nette Eigenschaft, selbst unter vernünftigen Bedingungen asymptotisch normal zu sein.

Peter Ellis
quelle
Was ich mit "nimmt kein zufälliges Rauschmodell an" meine, ist, dass es nicht annimmt, dass das Rauschen eine bestimmte Verteilung hat, z. B. normal. Könnten Sie auf ein Buch hinweisen, in dem die Parameterschätzung durch Anpassen von PDF mit kleinsten Quadraten erörtert wird? In den Büchern, die ich gefunden habe, geht es nur um MLE (und manchmal auch um die Methode der Momente).
Christian Alis
Um zu MLE zu passen, müssen Sie noch eine bestimmte Verteilung annehmen, aber Sie haben eine größere Auswahl als nur normal. Um nur das erste Buch zur Hand zu nehmen, in dem die beiden behandelt werden, habe ich Garthwaite, Jolliffe und Jones Statistical Inference (ein ziemlich standardmäßiges Unitextbuch für das zweite Jahr), in dem die kleinsten Quadrate sowie die Methode der Momente und die Methode des minimalen Chi-Quadrats als Alternativen behandelt werden zu MLEs.
Peter Ellis