Lineare Regression zur Minimierung von MAD in sklearn

Das standardmäßige lineare sklearn-Regressionsklasse findet eine angenäherte lineare Beziehung zwischen Variate und Kovariaten, die den mittleren quadratischen Fehler (MSE) minimiert. Insbesondere lassen $N$ Seien Sie die Anzahl der Beobachtungen und lassen Sie uns den Abschnitt der Einfachheit halber ignorieren. Lassen $y_j$ sei der Variationswert des $j$ -te Beobachtung und $x_{1,j}, \dots, x_{n,j}$ seien die Werte der $n$ Kovariaten der $j$ -te Beobachtung. Die lineare Beziehung hat die Form

y = β_{1} x_{1} + \dots β_{n} x_{n};;

$y = \beta_1 x_1 + \dots \beta_n x_n;$ wo die Koeffizienten

β_{1}, \dots, β_{n}

$\beta_1, \dots, \beta_n$ sind gegeben durch

β_{1}, \dots, β_{n} = \underset{{\tilde{β}}_{1}, \dots, {\tilde{β}}_{n}}{ein r G m ich n} (\sum_{j = 1}^{N.} {(y_{j} - - {\tilde{β}}_{1} x_{1, j} - - \dots - - {\tilde{β}}_{n} x_{n, j})}^{2}) .

$\beta_1, \dots, \beta_n = \underset{\tilde\beta_1, \dots, \tilde\beta_n}{\mathrm{argmin}} \left( \sum_{j = 1}^N \left( y_j - \tilde\beta_1x_{1, j} - \dots -\tilde\beta_nx_{n, j}\right)^2 \right).$

Ich möchte nun die Koeffizienten finden, die die mittlere absolute Abweichung (MAD) anstelle des mittleren quadratischen Fehlers minimieren. Ich möchte nämlich die Koeffizienten von

β_{1}, \dots, β_{n} = \underset{{\tilde{β}}_{1}, \dots, {\tilde{β}}_{n}}{ein r G m ich n} (\sum_{j = 1}^{N.} | y_{j} - - {\tilde{β}}_{1} x_{1, j} - - \dots - - {\tilde{β}}_{n} x_{n, j} |) .

$\beta_1, \dots, \beta_n = \underset{\tilde\beta_1, \dots, \tilde\beta_n}{\mathrm{argmin}} \left( \sum_{j = 1}^N \left| y_j - \tilde\beta_1x_{1, j} - \dots -\tilde\beta_nx_{n, j}\right| \right).$

Ich verstehe, dass im scharfen Gegensatz zum MSE-Fall die mangelnde Differenzierbarkeit der Absolutwertfunktion bei $0$ impliziert, dass es keine analytische Lösung für den MAD-Fall gibt. Letzteres ist jedoch immer noch ein konvexes Optimierungsproblem und kann nach dieser Antwort leicht durch lineare Programmierung gelöst werden.

Ist es möglich, diese lineare Regression in sklearn zu implementieren? Was ist mit anderen Statistik-Toolkits?

regression multiple-regression scikit-learn Giovanni De Gaetano
quelle

Ich habe dies gerade für die Wiedereröffnung nominiert. Ja, die Frage ist, wie eine Aufgabe in sklearn oder Python im Allgemeinen ausgeführt wird. Aber es braucht statistisches Fachwissen zu verstehen oder Antwort , die ist ausdrücklich beim Thema .

Stephan Kolassa

@StephanKolassa Ich stimme Ihnen zu - die Frage sollte wieder geöffnet werden ..

James Phillips

Die erwartete MAD wird durch den Median der Verteilung minimiert ( Hanley, 2001, The American Statistician ). Daher suchen Sie nach einem Modell, das den bedingten Median anstelle des bedingten Mittelwerts liefert .

Dies ist ein Sonderfall von Quantil-Regressionspeziell für das 50% Quantil. Roger Koenker ist der Hauptguru für die Quantilregression . siehe insbesondere sein gleichnamiges Buch .

Es gibt Möglichkeiten, in Python eine Quantilregression durchzuführen. Dieses Tutorial kann hilfreich sein. Wenn Sie offen für die Verwendung von R sind, können Sie das quantregPaket verwenden.

Stephan Kolassa
quelle

In Python ist es vis statsmodels statsmodels.org/dev/generated/…

Tim

Vielen Dank! Es ist eine einfache Möglichkeit, das Problem in der Tat zu betrachten ...

Giovanni De Gaetano

Lineare Regression zur Minimierung von MAD in sklearn

Antworten: