Überlegenheit von LASSO gegenüber Vorwärtsauswahl / Rückwärtseliminierung in Bezug auf den Kreuzvalidierungs-Vorhersagefehler des Modells

Ich habe drei reduzierte Modelle von einem Original-Vollmodell mit erhalten

• Vorauswahl
• Rückwärtseliminierung
• L1 Bestrafungstechnik (LASSO)

Für die Modelle, die unter Verwendung von Vorwärtsauswahl / Rückwärtseliminierung erhalten wurden, erhielt ich die kreuzvalidierte Schätzung des Vorhersagefehlers unter Verwendung des CVlmin DAAGverfügbaren Pakets in R. Für das über LASSO ausgewählte Modell habe ich verwendet cv.glm.

Der Vorhersagefehler für LASSO war geringer als der für die anderen. Das über LASSO erhaltene Modell scheint daher hinsichtlich seiner Vorhersagekapazität und Variabilität besser zu sein. Ist dies ein allgemeines Phänomen, das immer auftritt, oder ist es problemspezifisch? Was ist die theoretische Begründung dafür, wenn dies ein allgemeines Phänomen ist?

Die Auswahl des LASSO- und des Vorwärts- / Rückwärtsmodells weist sowohl Stärken als auch Einschränkungen auf. Es kann keine weitreichende Empfehlung abgegeben werden. Die Simulation kann immer untersucht werden, um dies zu beheben.

Beides kann im Sinne der Dimensionalität verstanden werden: Bezogen auf die Anzahl der Modellparameter und die Anzahl der Beobachtungen. Wenn Sie Modelle mithilfe der Modellauswahl in Rückwärtsrichtung anpassen konnten, hatten Sie wahrscheinlich kein . In diesem Fall ist das "am besten passende" Modell dasjenige, das alle Parameter verwendet ... wenn es intern validiert wird! Dies ist einfach eine Frage der Überanpassung.n p ≫ $p$$n$$p \gg n$

Die Überanpassung wird mithilfe der Split-Sample-Cross-Validation (CV) zur Modellbewertung behoben. Da Sie dies nicht beschrieben haben, gehe ich davon aus, dass Sie es nicht getan haben. Im Gegensatz zur schrittweisen Modellauswahl verwendet LASSO einen Optimierungsparameter, um die Anzahl der Parameter im Modell zu bestrafen. Sie können den Optimierungsparameter korrigieren oder einen komplizierten iterativen Prozess verwenden, um diesen Wert auszuwählen. Standardmäßig erledigt LASSO Letzteres. Dies erfolgt mit CV, um die MSE der Vorhersage zu minimieren. Mir ist keine Implementierung einer schrittweisen Modellauswahl bekannt, die derart ausgefeilte Techniken verwendet, selbst der BIC als Kriterium würde unter einer internen Validierungsverzerrung leiden. Meiner Meinung nach bietet dies LASSO automatisch eine Hebelwirkung bei der schrittweisen Modellauswahl "out-of-the-box".

Schließlich kann die schrittweise Modellauswahl unterschiedliche Kriterien zum Einschließen / Ausschließen verschiedener Regressoren haben. Wenn Sie die p-Werte für den Wald-Test der spezifischen Modellparameter oder das resultierende Modell R ^ 2 verwenden, werden Sie vor allem aufgrund der internen Validierungsverzerrung nicht gut abschneiden (könnte wiederum mit CV behoben werden). Ich finde es überraschend, dass solche Modelle immer noch so implementiert werden. AIC oder BIC sind viel bessere Kriterien für die Modellauswahl.

Bei jeder Methode gibt es eine Reihe von Problemen. Die Probleme der schrittweisen Modellauswahl sind viel besser verstanden und weitaus schlimmer als die von LASSO. Das Hauptproblem, das ich bei Ihrer Frage sehe, besteht darin, dass Sie Tools zur Funktionsauswahl verwenden, um die Vorhersage zu bewerten . Sie sind unterschiedliche Aufgaben. LASSO eignet sich besser für die Auswahl von Funktionen oder spärlichen Modellen. Die Ridge-Regression kann eine bessere Vorhersage liefern, da alle Variablen verwendet werden.

Die große Stärke von LASSO besteht darin, dass es Modelle schätzen kann, in denen , wie dies bei einer schrittweisen Regression vorwärts (aber nicht rückwärts) der Fall sein kann. In beiden Fällen können diese Modelle nur dann für die Vorhersage wirksam sein, wenn es eine Handvoll sehr leistungsfähiger Prädiktoren gibt. Wenn ein Ergebnis von vielen schwachen Prädiktoren besser vorhergesagt wird, wird die Ridge-Regression oder das Absacken / Boosten sowohl die schrittweise Vorwärtsregression als auch LASSO bei weitem übertreffen . LASSO ist viel schneller als die schrittweise Vorwärtsregression.$p \gg n$

Es gibt offensichtlich eine große Überschneidung zwischen Merkmalsauswahl und Vorhersage, aber ich erzähle Ihnen nie, wie gut ein Schraubenschlüssel als Hammer dient. Im Allgemeinen würde ich für die Vorhersage mit einer geringen Anzahl von Modellkoeffizienten und LASSO der schrittweisen Modellauswahl vorziehen.$p \gg n$

Sie möchten eine Teilmenge von Prädiktoren nach bestimmten Kriterien auswählen. Möglicherweise handelt es sich um einen AIC in der Stichprobe oder ein angepasstes R ^ 2 oder eine Kreuzvalidierung.

Sie können jede einzelne Kombination von Prädiktor-Teilmengen testen und die beste Teilmenge auswählen. jedoch

• Sehr zeitaufwändig aufgrund der kombinatorischen Explosion von Parametern.
• Funktioniert, wenn Sie mehr Parameter als Beobachtungen in dem Sinne haben, dass Sie alle Prädiktorkombinationen testen, die eine Lösung ergeben

Sie können die schrittweise Vorwärtsauswahl verwenden

• Weniger zeitaufwändig, aber möglicherweise nicht die absolut beste Kombination, insb. wenn Prädiktoren korreliert sind (kann einen Prädiktor auswählen und keine weitere Verbesserung erzielen, wenn das Hinzufügen von 2 anderen Prädiktoren eine Verbesserung gezeigt hätte)
• Funktioniert auch dann, wenn Sie mehr Parameter als Beobachtungen haben

Sie könnten die Rückwärtseliminierung verwenden

• Funktioniert nicht, wenn Sie mehr Parameter als Beobachtungen haben, keinen einzigen guten Startpunkt (theoretisch könnten Sie von allen gültigen Startpunkten ausgehen, rückwärts arbeiten, den besten auswählen, aber das ist normalerweise nicht mit Rückwärtseliminierung gemeint).
• Wie schrittweise vorwärts, weniger zeitaufwendig als alle Teilmengen, aber möglicherweise nicht die absolut beste Kombination, insb. wenn Prädiktoren korreliert sind

Sie könnten LASSO verwenden

• Funktioniert auch dann, wenn Sie mehr Parameter als Beobachtungen haben
• CPU-effizient, wenn Sie viele Parameter und eine kombinatorische Explosion von Teilmengen haben
• Fügt Regularisierung hinzu

Zu Ihrer Frage, warum LASSO bei Ihren Daten im Lebenslauf eine bessere Leistung erzielt

• Eine Möglichkeit ist die oben beschriebene Pfadabhängigkeit - LASSO findet möglicherweise eine bessere Teilmenge. Vielleicht hat es Glück gehabt, vielleicht bekommt LASSO im Allgemeinen / manchmal bessere Teilmengen, ich bin mir nicht sicher. Vielleicht gibt es Literatur zu diesem Thema.
• Eine andere (wahrscheinlichere) Möglichkeit ist, dass die LASSO-Regularisierung eine Überanpassung verhindert, sodass LASSO im Lebenslauf / außerhalb der Stichprobe eine bessere Leistung erbringt.

Unter dem Strich bietet Ihnen LASSO eine Regularisierung und eine effiziente Auswahl von Teilmengen, insbesondere wenn Sie viele Prädiktoren haben.

Übrigens können Sie LASSO ausführen und Ihr Modell mit CV (am häufigsten), aber auch mit AIC oder einem anderen Kriterium auswählen. Führen Sie Ihr Modell mit L1-Regularisierung und ohne Einschränkung aus und verschärfen Sie die Einschränkung schrittweise, bis der AIC ein Minimum oder einen CV-Fehler oder das Kriterium Ihrer Wahl erreicht. Siehe http://scikit-learn.org/stable/auto_examples/linear_model/plot_lasso_model_selection.html