OLS vs. maximale Wahrscheinlichkeit unter Normalverteilung in linearer Regression

8

Ich fand heraus, dass für ein einfaches lineares Regressionsmodell sowohl die OLS- als auch die Maximum-Likelihood-Methode (unter der Annahme einer Normalverteilung) dieselbe Ausgabe liefern (Parameterwerte). Können wir daraus sagen, dass OLS auch implizite Annahmen über die Normalverteilung macht oder umgekehrt? Ich bin nicht daran interessiert, warum beide den gleichen Wert erzeugen, aber welche nehmen weniger strenge Annahmen über die Daten vor?

regression normal-distribution maximum-likelihood least-squares Neeraj
quelle

Antworten:

6

OLS macht keine Normalitätsannahme für die Modellfehler. OLS kann unter verschiedenen Verteilungsannahmen verwendet werden, und der Schätzer ist weiterhin als linearer unverzerrter Schätzer mit minimaler Varianz sinnvoll.

Die maximale Wahrscheinlichkeit (Maximum Likelihood, ML) kann auch unterschiedliche Verteilungen berücksichtigen, die Verteilung muss jedoch im Voraus ausgewählt werden. Wenn sich die tatsächliche Verteilung von der angenommenen Verteilung zu unterscheiden scheint, ist der ML-Schätzer als Schätzer, der die gemeinsame Wahrscheinlichkeitsdichte der Daten maximiert, nicht mehr sinnvoll.

Wir können also sagen, dass ML in einer bestimmten Anwendung strengere Annahmen über die Modellfehler macht als OLS.

Richard Hardy
quelle
Danke @RihchardHardy ..... können Sie bitte erklären, was es bedeutet, "OLS kann unter verschiedenen Verteilungsannahmen verwendet werden"? Da OLS meines Wissens keine Datenannahme macht, minimiert es nur die Summe der Quadrate der Residuen.
Neeraj
Du hast recht. Das sollte bedeuten: "Unabhängig davon, welche Verteilungsannahme Sie gegebenenfalls treffen, wird OLS in Ordnung sein."
Richard Hardy
@ danke RichardHardy. Dies bedeutet, dass die maximale Wahrscheinlichkeit so gut ist wie die Annahme einer Verteilung. Aber bedeutet das, dass OLS für das lineare Regressionsmodell immer besser ist als ML?
Neeraj
1
Was besser ist, hängt von Ihrer Zielfunktion (oder Verlustfunktion) ab. 1. Wenn Sie die gemeinsame Wahrscheinlichkeitsdichte von Fehlern maximieren möchten, ist die maximale Wahrscheinlichkeit Ihre Wahl (Sie müssen jedoch überprüfen, wie gut die Modellreste mit der Verteilungsannahme übereinstimmen). Die maximale Wahrscheinlichkeit kann auch dann noch funktionieren, wenn die Fehlerverteilung nicht übereinstimmt. Das Schlüsselwort hier ist quasi maximale Wahrscheinlichkeit. 2. Wenn Sie die Summe der quadratischen Residuen minimieren möchten, wählen Sie OLS.
Richard Hardy
1
Ich denke, es ist eine Frage der Interpretation. OLS und MLE haben unterschiedliche Ziele. Übrigens sind OLS und MLE unter Normalverteilung jedoch gleich. Kann dies unter Verwendung der Nominalannahme unwissentlich als OLS interpretiert werden? Vielleicht, aber ich würde es nicht so ausdrücken. OLS basiert weder darauf noch hat es das Ziel, die Wahrscheinlichkeit zu maximieren. Ich würde es einen Zufall nennen. Im Allgemeinen können Sie eine neue Frage stellen, anstatt sie in den Kommentaren zu stellen. Kommentare sollten idealerweise in engem Zusammenhang mit dem OP oder der Antwort stehen, während eine breitere Diskussion neue Fragen und neue Antworten verdienen kann.
Richard Hardy