Gibt es eine klare Reihe von Bedingungen, unter denen Lasso, Grat oder elastische Netzlösungspfade monoton sind?

Die Frage, was aus diesem Lasso-Plot (glmnet) zu schließen ist, zeigt Lösungswege für den Lasso-Schätzer, die nicht monoton sind. Das heißt, einige der Cofficients nehmen im absoluten Wert zu, bevor sie schrumpfen.

Ich habe diese Modelle auf verschiedene Arten von Datensätzen angewendet und dieses Verhalten noch nie "in freier Wildbahn" gesehen und bis heute angenommen, dass sie immer monoton waren.

Gibt es klare Bedingungen, unter denen die Lösungswege garantiert monoton sind? Beeinflusst es die Interpretation der Ergebnisse, wenn die Pfade die Richtung ändern?

lasso ridge-regression elastic-net Shadowtalker
quelle

Monoton in welchem Sinne? Es scheint mir nicht sehr sinnvoll, wenn Sie es als Diagramm einer Funktion behandeln möchten.

Henry.L

@ Henry.L Die Frage kann umformuliert werden als: Wann ist das Folgende wahr: Für haben wir das für alle , wobei . Das heißt, das Lasso schrumpft gleichmäßig komponentenweise. Könnten Sie bitte klarstellen, was Ihrer Meinung nach bedeutsam ist?

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

user795305

Hinweis: Das Verständnis der Art und Weise, wie Lasso die Koeffizienten verkleinert,

user795305

Ich weiß nicht, wie ich das verpasst habe, die Frage wurde für Lasso auf die Antwort des OP auf seine eigene Frage in der obigen Frage beantwortet.

user795305

Antworten:

Ich kann Ihnen eine gebe ausreichende Bedingung für den Pfad monotonen zu sein: ein orthonormal Design von $X$ .

Angenommen, eine orthonormale Entwurfsmatrix, mit Variablen in , ist . Bei einem orthonormalen Design sind die OLS-Regressionskoeffizienten einfach . $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

Die Karush-Khun-Tucker-Bedingungen für den LASSO vereinfachen somit Folgendes:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

Wobei der Subgradient ist. Daher haben wir für jedes das , und wir haben eine geschlossene Form Lösung für die Lasso-Schätzungen: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

Welches ist monoton in . Dies ist zwar keine notwendige Bedingung, wir sehen jedoch, dass die Nicht-Monotonie aus der Korrelation der Kovariaten in herrühren muss . $\lambda$ $X$

Carlos Cinelli
quelle