Ridge-Regressionskoeffizienten, die größer als OLS-Koeffizienten sind oder das Vorzeichen in Abhängigkeit von

14

Wie interpretieren Sie beim Ausführen der Ridge-Regression Koeffizienten, die größer sind als die entsprechenden Koeffizienten unter den kleinsten Quadraten (für bestimmte Werte von )? Soll die Gratregression nicht die Koeffizienten monoton verkleinern?λ

Wie interpretiert man in einem verwandten Zusammenhang einen Koeffizienten, dessen Vorzeichen sich während der Gratregression ändert (dh die Gratspur kreuzt auf einem Gratspurplot von negativ nach positiv)?

user21833
quelle
Die Ridge-Regression verkleinert die Koeffizienten bei einer orthogonalen Entwurfsmatrix nur monoton. In Gegenwart von Korrelationen ist es unmöglich, etwas von dieser Allgemeinheit zu sagen.
Matthew Drury

Antworten:

5

Wie λErhöht sich von Null an der Beitrag verschiedener Koeffizienten, ändert sich dies entsprechend der Optimierung, wodurch sowohl Werterhöhungen als auch Vorzeichenänderungen möglich sind. Schauen Sie sich Ryan Tibshiranis Grat-Regressionsdiagramme (PDF) an, in denen Ihre beiden Fragen dargestellt sind (Diagramme 17, 19).

mrbcuda
quelle