Als «lasso» getaggte Fragen

12
Aktualisierung des Lassos mit neuen Beobachtungen

Ich passe eine L1-regulierte lineare Regression an einen sehr großen Datensatz an (mit n >> p.). Die Variablen sind im Voraus bekannt, aber die Beobachtungen treffen in kleinen Stücken ein. Ich möchte das Lasso nach jedem Stück fit halten. Ich kann natürlich das gesamte Modell nach jedem...

regression lasso
12
Lasso-Modifikation für LARS

Ich versuche zu verstehen, wie der Lars-Algorithmus modifiziert werden kann, um Lasso zu erzeugen. Obwohl ich LARS verstehe, kann ich die Lasso-Modifikation aus dem Artikel von Tibshirani et al. Nicht sehen. Insbesondere verstehe ich nicht, warum die Vorzeichenbedingung darin, dass das Vorzeichen...

lasso
12
Lasso vs. adaptives Lasso

LASSO und adaptives LASSO sind zwei verschiedene Dinge, richtig? (Für mich sehen die Strafen anders aus, aber ich überprüfe nur, ob ich etwas verpasse.) Wenn Sie allgemein von elastischem Netz sprechen, ist der Sonderfall LASSO oder adaptives LASSO? Welches macht das glmnet-Paket, vorausgesetzt...

lasso glmnet elastic-net oracle
12
Ridge & LASSO Normen

Dieser Beitrag folgt diesem: Warum wird die Kammschätzung besser als die OLS, indem der Diagonale eine Konstante hinzugefügt wird? Hier ist meine Frage: Soweit ich weiß, verwendet die eine ℓ 2 -Norm (euklidischer Abstand). Aber warum verwenden wir das Quadrat dieser Norm? (Eine direkte Anwendung...

lasso regularization ridge-regression
11
Wie vertretbar ist es,

Wenn ich mein Lambda durch Kreuzvalidierung bestimme, werden alle Koeffizienten Null. Aber ich habe einige Hinweise aus der Literatur, dass einige der Prädiktoren definitiv das Ergebnis beeinflussen sollten. Ist es Unsinn, Lambda willkürlich zu wählen, damit es genauso wenig Sparsamkeit gibt, wie...

lasso
11
Ridge und LASSO eine Kovarianzstruktur gegeben?

(y⃗ −Xβ⃗ )TV−1(y⃗ −Xβ⃗ )+λf(β),   (1)(y→−Xβ→)TV−1(y→−Xβ→)+λf(β),   (1)(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1) (y⃗ −Xβ⃗ )(y⃗ −Xβ⃗ )+λf(β).            (2)(y→−Xβ→)(y→−Xβ→)+λf(β).            (2)(\vec{y}-X\vec{\beta})(\vec{y}-X\vec{\beta})+\lambda f(\beta).\ \ \ \...

lasso ridge-regression
11
Wie man die Ergebnisse interpretiert, wenn sowohl Grat als auch Lasso getrennt gut abschneiden, aber unterschiedliche Koeffizienten erzeugen

Ich führe sowohl mit Lasso als auch mit Ridge ein Regressionsmodell durch (um eine diskrete Ergebnisvariable im Bereich von 0 bis 5 vorherzusagen). Bevor ich das Modell ausführe, verwende ich die SelectKBestMethode scikit-learn, um den Funktionsumfang von 250 auf 25 zu reduzieren . Ohne eine...

regression predictive-models feature-selection lasso ridge-regression
11
Kann

Wenn , kann‖ β ∗ ‖β∗= a r gm i nβ∥ y- X.β∥22+ λ ∥ β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 zunehmen, wenn λ zunimmt?∥ β∗∥2‖β∗‖2\|\beta^*\|_2λλ\lambda Ich denke das ist möglich. Obwohl nicht zunimmt, wenn λ zunimmt (mein Beweis ), kann ‖ β ∗ ‖...

lasso