Lineare Regression mit Laplace-Fehlern

Betrachten Sie ein lineares Regressionsmodell:

$$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$$ wobei $\varepsilon _i \sim \mathcal L(0, b)$ , das heißt , Laplace-Verteilung mit $0$ Mittelwert und $b$ Skalenparameter sind alle voneinander unabhängig. Betrachten Sie eine maximale Wahrscheinlichkeitsschätzung des unbekannten Parameters $\boldsymbol \beta$ : $$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$$ von dem $$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$$

Wie kann man in diesem Modell eine Verteilung der Residuen $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ ?

Es wird angenommen, dass die Residuen (tatsächlich als Fehler bezeichnet) zufällig mit einer Doppelexponentialverteilung (Laplace-Verteilung) verteilt sind. Wenn Sie diese x- und y-Datenpunkte anpassen, tun Sie dies numerisch. Sie berechnen zunächst beta-hat_ML für diese Punkte als Ganzes mit der oben angegebenen Formel. Dadurch wird eine Linie durch die Punkte bestimmt. Subtrahieren Sie dann den y-Wert jedes Punkts vom y-Wert der Linie bei diesem x-Wert. Dies ist der Rest für diesen Punkt. Die Residuen aller Punkte können verwendet werden, um ein Histogramm zu erstellen, das Ihnen die Verteilung der Residuen gibt.

Es gibt einen guten mathematischen Artikel von Yang (2014) .

--Lee