LASSO-Beziehung zwischen

10

Mein Verständnis der LASSO-Regression ist, dass die Regressionskoeffizienten ausgewählt werden, um das Minimierungsproblem zu lösen:

minβyXβ22 s.t.β1t

In der Praxis wird dies mit einem Lagrange-Multiplikator durchgeführt, wodurch das Problem gelöst werden muss

minβyXβ22+λβ1

Wie ist die Beziehung zwischen und t ? Wikipedia gibt unbeholfen einfach an, dass dies "datenabhängig" ist.λt

Warum kümmert es mich? Erstens aus intellektueller Neugier. Ich bin aber auch besorgt über die Konsequenzen für die Auswahl von durch Kreuzvalidierung. λ

Insbesondere wenn ich eine n-fache Kreuzvalidierung durchführe, passe ich n verschiedene Modelle an n verschiedene Partitionen meiner Trainingsdaten an. Ich vergleiche dann die Genauigkeit jedes Modells anhand der nicht verwendeten Daten für ein gegebenes . Das gleiche λ impliziert jedoch eine unterschiedliche Einschränkung ( t ) für unterschiedliche Teilmengen der Daten (dh t = f ( λ ) ist "datenabhängig"). λλtt=f(λ)

t

β1λtt>>0

ConstantAmateur
quelle
5
Upvoting, um das ungeklärte Downvote aufzuheben. Die Frage liegt weit außerhalb meines Fachwissens, scheint aber vernünftig formuliert zu sein.
mkt - Stellen Sie Monica

Antworten:

2

Dies ist die Standardlösung für die Gratregression :

β=(XX+λI)1Xy

β=t

(XX+λI)1Xy=t

λ

tλ

Shadowtalker
quelle