Warum sind die Regressionsmethoden Least-Squares und Maximum-Likelihood nicht gleichwertig, wenn die Fehler nicht normal verteilt sind?

Titel sagt alles. Ich verstehe, dass die kleinsten Quadrate und die maximale Wahrscheinlichkeit das gleiche Ergebnis für Regressionskoeffizienten liefern, wenn die Fehler des Modells normal verteilt sind. Aber was passiert, wenn die Fehler nicht normal verteilt sind? Warum sind die beiden Methoden nicht mehr gleichwertig?

Kurze Antwort

Die Wahrscheinlichkeitsdichte eines multivariaten gaußverteiltes variable $x=(x_1, x_2,...,x_n)$ , mit einem Mittelwert $\mu=(\mu_1,\mu_2,...,\mu_n)$ zu dem Quadrat der verwandte der euklidische Abstand zwischen dem Mittelwert und der Variablen ( $\vert \mu-x \vert_2^2$ ) oder mit anderen Worten die Summe der Quadrate.

---

Lange Antwort

Wenn Sie mehrere Gaußsche Verteilungen für Ihre $n$ Fehler multiplizieren , wobei Sie gleiche Abweichungen annehmen, erhalten Sie eine Summe von Quadraten.

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

oder in der bequemen logarithmischen Form:

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

Die Optimierung des $\mu$ zur Minimierung der Quadratsumme entspricht also der Maximierung der (logarithmischen) Wahrscheinlichkeit (dh des Produkts mehrerer Gaußscher Verteilungen oder der multivariaten Gaußschen Verteilung).

Es ist dieses verschachtelte Quadrat der Differenz $(\mu-x)$ innerhalb der Exponentialstruktur $exp\left[ (x_i-\mu)^2 \right]$ , das andere Verteilungen nicht haben.

---

Vergleichen Sie zum Beispiel mit dem Fall für Poisson-Verteilungen

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

Das hat ein Maximum, wenn Folgendes minimiert wird:

$$\sum \mu_j -log(\mu_j) x_{ij}$$

Das ist ein anderes Tier.

---

Zusätzlich (Geschichte)

Die Historie der Normalverteilung (wobei deMoivre ignoriert wird, um diese Verteilung als Annäherung für die Binomialverteilung zu erhalten) ist tatsächlich die Entdeckung der Verteilung, die die MLE der Methode der kleinsten Quadrate entspricht (und nicht der Methode der kleinsten Quadrate als Methode das kann die MLE der Normalverteilung ausdrücken, zuerst kam die Methode der kleinsten Quadrate, zweitens kam die Gaußsche Verteilung)

Beachten Sie, dass Gauß, der die 'Methode der maximalen Wahrscheinlichkeit' mit der 'Methode der kleinsten Quadrate' verbindet, die 'Gaußsche Verteilung' $e^{-x^2}$ als einzige Fehlerverteilung gefunden hat, die uns dazu führt, diese Verbindung zwischen herzustellen die beiden Methoden.

Aus der Übersetzung von Charles Henry Davis (Theorie der Bewegung der Himmelskörper, die sich in konischen Abschnitten um die Sonne bewegen. Eine Übersetzung von Gauß '"Theoria motus" mit Anhang) ...

Gauß definiert:

Dementsprechend wird die Wahrscheinlichkeit , jedem Fehler $\Delta$ ; zugeordnet zu werden, durch eine Funktion von $\Delta$Dgr; ausgedrückt, die wir mit & $\psi \Delta$ Dgr; bezeichnen werden .

^{(Kursivierung von mir gemacht)}

Und fährt fort ( in Abschnitt 177, S. 258 ):

$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

Geschrieben von StackExchangeStrike

Weil die MLE aus der Annahme eines normalverteilten Residuums abgeleitet wird.

Beachten Sie, dass

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

$\beta$

Woher das Konzept von Wahrscheinlichkeit und Wahrscheinlichkeit kommt, nehmen wir an

$$y=X\beta + \epsilon$$

$y$$\epsilon$

Die kleinsten Quadrate und die maximale (Gaußsche) Wahrscheinlichkeitsanpassung sind immer äquivalent. Das heißt, sie werden durch denselben Satz von Koeffizienten minimiert.

Wenn Sie die Annahme der Fehler ändern, ändert sich Ihre Wahrscheinlichkeitsfunktion (das Maximieren der Wahrscheinlichkeit eines Modells entspricht dem Maximieren der Wahrscheinlichkeit des Fehlerterms), und daher wird die Funktion nicht mehr durch denselben Koeffizientensatz minimiert.

In der Praxis sind die beiden also gleich, aber wenn Sie theoretisch eine andere Wahrscheinlichkeit maximieren, erhalten Sie eine andere Antwort als die kleinsten Quadrate

Ein konkretes Beispiel: Nehmen wir an, wir nehmen eine einfache Fehlerfunktion p (1) =. 9, p (-9) = .10. Wenn wir zwei Punkte nehmen, wird LS nur die Linie durch sie ziehen. ML hingegen geht davon aus, dass beide Punkte eine Einheit zu hoch sind, und nimmt daher die Linie durch die auf der Einheit nach unten verschobenen Punkte.