Warum sollten Sie Lasso-Schätzungen anstelle von OLS-Schätzungen für die von Lasso identifizierte Untergruppe von Variablen verwenden?

Nehmen Sie für die Lasso-Regression dass die beste Lösung (zum Beispiel minimaler Testfehler) Merkmale auswählt . so dass .k β l a s s o = ( β l a s s o 1 , β l a s s O 2 , . . . , β l

Wir wissen, dass $\left(\hat{\beta}_1^{lasso},\hat{\beta}_2^{lasso},...,\hat{\beta}_k^{lasso}\right)$ ist voreingenommene Schätzung von $\left(\beta_1,\beta_2,...,\beta_k\right)$ , also warum nehmen wir immer noch $\hat{\beta}^{lasso}$ als die endgültige Lösung, anstatt die 'vernünftigere' $\hat{\beta}^{new}=\left(\hat{\beta}_{1:k}^{new},0,...,0\right)$ , wobei $\hat{\beta}_{1:k}^{new}$ ist die LS-Schätzung aus Teilmodell $L^{new}(\beta_{1:k})=(X_{1:k}\beta-y)'(X_{1:k}\beta-y)$ . ( $X_{1:k}$ bezeichnet die Spalten von $X$ , die den $k$ ausgewählten Merkmalen entsprechen).

Kurz gesagt, warum verwenden wir Lasso sowohl für die Merkmalsauswahl als auch für die Parameterschätzung, anstatt nur für die Variablenauswahl (und überlassen die Schätzung der ausgewählten Merkmale OLS)?

(Was bedeutet es auch, dass "Lasso höchstens $n$ Merkmale auswählen kann "? $n$ ist die Stichprobengröße.)

Ich glaube nicht, dass es falsch ist, LASSO für die Variablenauswahl und anschließend OLS zu verwenden. Aus " Elemente des statistischen Lernens " (S. 91)

... die lasso Schrumpfung bewirkt , dass die Schätzungen der Nicht-Null - Koeffizienten auf Null vorgespannt werden und im Allgemeinen sind sie nicht im Einklang [ Hinzugefügt Hinweis: Dies bedeutet , dass, wie die Stichprobengröße wächst, wird die Koeffizientenschätzungen nicht Converge] . Ein Ansatz zum Reduzieren dieser Verzerrung besteht darin, das Lasso auszuführen, um den Satz von Nicht-Null-Koeffizienten zu identifizieren, und dann ein nicht eingeschränktes lineares Modell an den ausgewählten Satz von Merkmalen anzupassen. Dies ist nicht immer möglich, wenn der ausgewählte Satz groß ist. Alternativ können Sie das Lasso verwenden, um den Satz von Prädiktoren ungleich Null auszuwählen, und dann das Lasso erneut anwenden, jedoch nur die ausgewählten Prädiktoren aus dem ersten Schritt. Dies wird als entspanntes Lasso bezeichnet(Meinshausen, 2007). Die Idee ist, eine Kreuzvalidierung zu verwenden, um den anfänglichen Strafparameter für das Lasso und dann erneut für einen zweiten Strafparameter zu schätzen, der auf den ausgewählten Satz von Prädiktoren angewendet wird. Da die Variablen im zweiten Schritt weniger "Konkurrenz" mit Rauschvariablen haben, wird die Kreuzvalidierung dazu neigen, einen kleineren Wert für [den Strafparameter] zu wählen , und daher werden ihre Koeffizienten geringer als diejenigen in der anfänglichen Schätzung verkleinert.$\lambda$

Ein anderer sinnvoller Ansatz, der dem entspannten Lasso ähnelt, besteht darin, Lasso einmal (oder mehrmals hintereinander) zu verwenden, um eine Gruppe von Kandidaten-Prädiktorvariablen zu identifizieren. Verwenden Sie dann die Regression der besten Teilmengen , um die besten zu berücksichtigenden Prädiktorvariablen auszuwählen (siehe dazu auch "Elemente des statistischen Lernens"). Damit dies funktioniert, müssen Sie die Gruppe der Kandidatenprädiktoren auf etwa 35 eingrenzen, was nicht immer möglich ist. Sie können Kreuzvalidierung oder AIC als Kriterium verwenden, um eine Überanpassung zu verhindern.

Wenn Sie eine optimale In-Sample-Leistung erzielen möchten (bezogen auf das höchste R-Quadrat), verwenden Sie einfach OLS für jede verfügbare Variable. Das Ablegen von Variablen verringert das R-Quadrat.

Wenn Sie eine gute Out-of-Sample-Leistung anstreben (was in der Regel viel wichtiger ist), hat Ihre vorgeschlagene Strategie zwei Ursachen für eine Überanpassung:

• Auswahl von Variablen basierend auf Korrelationen mit der Antwortvariablen
• OLS-Schätzungen

Der Zweck von LASSO ist es, Parameterschätzungen auf Null zu reduzieren, um über zwei Ursachen von Überanpassung zu kämpfen. In-Sample-Vorhersagen sind immer schlechter als bei OLS, aber es besteht die Hoffnung (abhängig von der Stärke der Bestrafung), ein realistischeres Verhalten außerhalb der Stichprobe zu erzielen.

$p > n$$p > n$

In Bezug auf die OPs Frage, warum Lasso höchstens n Merkmale auswählen kann :

$X^{T}X$$\beta = (X^{T} X)^{-1}X^{T}Y$

$X^{T}X$