Was ist der typische Bereich möglicher Werte für den Schrumpfungsparameter bei einer bestraften Regression?

Bei der Lasso oder Ridge-Regression muss ein Schrumpfungsparameter angegeben werden, der häufig als oder . Dieser Wert wird häufig über eine Kreuzvalidierung ausgewählt, indem eine Reihe verschiedener Werte in den Trainingsdaten überprüft wird und ermittelt wird, welche die besten Werte ergeben, z. B. in den Testdaten. Welchen Wertebereich sollte man prüfen? Ist es ?$\lambda$$\alpha$$R^2$$(0,1)$

Sie brauchen sich nicht wirklich darum zu kümmern. In den meisten Paketen (z. B. glmnet) generiert das Softwarepaket eine eigene Sequenz, wenn Sie nicht angeben (was häufig empfohlen wird). Der Grund, warum ich diese Antwort betone, ist, dass der Solver während des LASSO-Laufs eine Folge von generiert , so dass die Eingabe eines einzelnen Werts den Solver möglicherweise erheblich verlangsamt (wenn Sie einen genauen Parameter für den Solver angeben) greift auf die Lösung eines halbbestimmten Programms zurück, das in einigermaßen "einfachen" Fällen langsam sein kann.)$\lambda$$\lambda$$\lambda$

Für den genauen Wert von Sie potenziell aus auswählen, was immer Sie wollen . Beachten Sie, dass wenn Ihr Wert zu groß ist, die Strafe zu groß ist und daher keiner der Koeffizienten ungleich Null sein kann. Wenn die Strafe zu gering ist, passen Sie das Modell über, und dies ist nicht die beste Lösung für eine Kreuzvalidierung $\lambda$$[0,\infty[$$\lambda$