Verwenden von MLE vs. OLS

13

Wann ist es vorzuziehen, die Maximum-Likelihood-Schätzung anstelle der gewöhnlichen kleinsten Quadrate zu verwenden? Was sind die Stärken und Grenzen eines jeden? Ich versuche, praktisches Wissen darüber zu sammeln, wo sie in allgemeinen Situationen eingesetzt werden können.

regression maximum-likelihood least-squares user38133
quelle

Antworten:

1

Wie hier erläutert , ist OLS nur eine bestimmte Instanz von MLE. Hier ist eng verwandte Frage, mit einer Ableitung von OLS in Bezug auf MLE.

Die bedingte Verteilung entspricht Ihrem Rauschmodell (für OLS: Gaußsche Verteilung und für alle Eingaben die gleiche). Es gibt andere Möglichkeiten (t-Student kann mit Ausreißern umgehen oder die Rauschverteilung von der Eingabe abhängen )

jpmuc
quelle
t
6
Das OLS ist ein entfernungsminimierendes Approximations- / Schätzverfahren, während ML ein "Wahrscheinlichkeits-" Maximierungsverfahren ist. OLS benötigt keine stochastischen Annahmen, um seine entfernungsminimierende Lösung bereitzustellen, während ML mit der Annahme einer gemeinsamen Wahrscheinlichkeitsdichte / Massenfunktion beginnt . Die Tatsache, dass die beiden unter Umständen die gleiche Lösung bieten, macht die eine in keiner Weise zu einer bestimmten Instanz der anderen.
Alecos Papadopoulos