Auswahl des Bereichs und der Gitterdichte für den Regularisierungsparameter in LASSO

In der Zwischenzeit studiere ich LASSO (Operator für geringste absolute Schrumpfung und Auswahl). Ich sehe, dass der optimale Wert für den Regularisierungsparameter durch Kreuzvalidierung ausgewählt werden kann. Ich sehe auch in der Gratregression und vielen Methoden, die Regularisierung anwenden, dass wir CV verwenden können, um den optimalen Regularisierungsparameter zu finden (sagen Strafe). Jetzt geht es bei meiner Frage um Anfangswerte für die obere und untere Grenze des Parameters und darum, wie die Länge der Sequenz bestimmt werden kann.

Um genau zu sein, gehen wir von einem LASSO Problem haben und wir wollen den optimalen Wert für die Strafe λ finden . Wie können wir dann eine Unter- und Obergrenze für λ ∈ [ a = wählen ? , b = ?

$$LogLikelihood = (y-x\beta)'(y-x\beta) + \lambda \sum|\beta|_1$$ $\lambda$$\lambda \in [a=?,b=?]$? und wie viele Teilungen zwischen diesen beiden Werten ?$\frac{(b-a)}{k=?}$

Diese Methode wird im glmnet-Artikel Regularisierungspfade für verallgemeinerte lineare Modelle über Koordinatenabstieg beschrieben . Obwohl die Methodik hier sowohl für den allgemeinen Fall der als auch der L 2 -Regulierung gilt, sollte sie auch für das LASSO (nur L 1 ) gelten.$L^1$$L^2$$L^1$

Die Lösung für das Maximum ist in Abschnitt 2.5 angegeben. $\lambda$

Wenn , sehen wir aus (5), dass ˜ β j bei 1 Null bleibt$\tilde\beta = 0$$\tilde\beta_j$. Daher istNαλmax=maxl| ⟨Xl,y⟩$\frac{1}{N} | \langle x_j , y \rangle | < \lambda \alpha$$N \alpha \lambda_{max} = \max_l | \langle x_l , y \rangle |$

$\lambda > \lambda_{max}$

$\lambda_{min}$$\lambda_{min} = 0.001 * \lambda_{max}$$100$

Dies funktioniert in der Praxis gut. Bei meiner umfangreichen Verwendung von glmnet habe ich dieses Gitter nie als zu grob empfunden.

$L^1$$\lambda$

$\beta = 0$$\lambda_{max}$$L^1$

Probengewichte erschweren ebenfalls die Situation, die inneren Produkte müssen an geeigneten Stellen durch gewichtete innere Produkte ersetzt werden.