Gibt es eine klare Reihe von Bedingungen, unter denen Lasso, Grat oder elastische Netzlösungspfade monoton sind?

18

Die Frage, was aus diesem Lasso-Plot (glmnet) zu schließen ist, zeigt Lösungswege für den Lasso-Schätzer, die nicht monoton sind. Das heißt, einige der Cofficients nehmen im absoluten Wert zu, bevor sie schrumpfen.

Ich habe diese Modelle auf verschiedene Arten von Datensätzen angewendet und dieses Verhalten noch nie "in freier Wildbahn" gesehen und bis heute angenommen, dass sie immer monoton waren.

Gibt es klare Bedingungen, unter denen die Lösungswege garantiert monoton sind? Beeinflusst es die Interpretation der Ergebnisse, wenn die Pfade die Richtung ändern?

Shadowtalker
quelle
Monoton in welchem ​​Sinne? Es scheint mir nicht sehr sinnvoll, wenn Sie es als Diagramm einer Funktion behandeln möchten.
Henry.L
4
@ Henry.L Die Frage kann umformuliert werden als: Wann ist das Folgende wahr: Für haben wir das für alle , wobei . Das heißt, das Lasso schrumpft gleichmäßig komponentenweise. Könnten Sie bitte klarstellen, was Ihrer Meinung nach bedeutsam ist? ( & bgr; λ 2λ1λ2(β^λ2)j(β^λ1)jjβ^λ=argminβ12nyXβ22+λβ1
user795305
2
Hinweis: Das Verständnis der Art und Weise, wie Lasso die Koeffizienten verkleinert,
user795305
1
Ich weiß nicht, wie ich das verpasst habe, die Frage wurde für Lasso auf die Antwort des OP auf seine eigene Frage in der obigen Frage beantwortet.
user795305

Antworten:

2

Ich kann Ihnen eine gebe ausreichende Bedingung für den Pfad monotonen zu sein: ein orthonormal Design von X .

Angenommen, eine orthonormale Entwurfsmatrix, mit Variablen in , ist . Bei einem orthonormalen Design sind die OLS-Regressionskoeffizienten einfach .pX ' XX β ols=X'yXXn=Ipβ^ols=Xyn

Die Karush-Khun-Tucker-Bedingungen für den LASSO vereinfachen somit Folgendes:

Xyn=β^lasso+λsβ^ols=β^lasso+λs

Wobei der Subgradient ist. Daher haben wir für jedes das , und wir haben eine geschlossene Form Lösung für die Lasso-Schätzungen:j { 1 , ... , p } β o l s j = β l a s s o j + λ s jsj{1,,p}β^jols=β^jlasso+λsj

β^jlasso=sign(β^jols)(|β^jols|λ)+

Welches ist monoton in . Dies ist zwar keine notwendige Bedingung, wir sehen jedoch, dass die Nicht-Monotonie aus der Korrelation der Kovariaten in herrühren muss .XλX

Carlos Cinelli
quelle