ich wundere mich über die optimale Gitterfeinheit und Wie ist das Verhältnis zwischen Gitterfeinheit und Überanpassung? bei Regularisierungsmethoden wie LASSO, Ridge Regression oder Elastic Net. Angenommen, ich möchte ein Regressionsmodell mit LASSO an eine Stichprobe von 500 Beobachtungen anpassen...
Ich verwende from sklearn.linear_model import Lassoin Python 2.7.6 Ich habe ein Skript geschrieben, mit dem ich eine Lasso-Regression für meine Features (X) und meine Ziele (y) durchgeführt habe. Ich habe es schon einmal verwendet und es funktioniert. Ich verwende es für einen neuen Datensatz...
Statistisches Lernen und seine Ergebnisse sind derzeit in den Sozialwissenschaften allgegenwärtig. Vor ein paar Monaten sagte Guido Imbens: "LASSO ist der neue OLS". Ich habe ein wenig Maschinelles Lernen studiert und weiß, dass das Hauptziel die Vorhersage ist. Ich stimme auch Leo Breimans...
Ich regressiere einen kontinuierlichen Prädiktor für über 60 Variablen (sowohl kontinuierlich als auch kategorial) mit LASSO (glmnet). Bei der Untersuchung des variablen Trace-Diagramms stelle ich fest, dass eine der Schlüsselvariablen mit zunehmendem log Lambda einen Koeffizienten aufweist, der...
Ich verstehe , dass die Drucksensor sparsamsten Lösung findet wobei x ∈ R D , A ∈ R k × D und y ∈ R k , k < < D .y=Axy=Axy = Axx∈RDx∈RDx \in \mathbb{R}^DA∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}y∈Rky∈Rky \in \mathbb{R}^{k}k<<Dk<<Dk
Ich führte Lasso durch und ließ dann eine einmalige Kreuzvalidierung aus cv<-cv.glmnet(df, df$Price, nfolds = 1500) Wenn ich einen Lebenslauf zeichne, erhalte ich Folgendes: Mir ist auch aufgefallen, dass ich 2 verschiedene Lambdas bekomme: lambda.minundlambda.1se Was ist der Unterschied...
Kann jemand eine intuitive Vorstellung davon geben, warum es besser ist, eine kleinere Beta zu haben? Für LASSO kann ich verstehen, dass es hier eine Feature-Auswahlkomponente gibt. Weniger Funktionen machen das Modell einfacher und daher weniger wahrscheinlich, dass es überpasst. Für den Grat...
Das Lasso und das elastische Netz können keine Variablen mit mehr als zwei Kategorien verarbeiten. Daher ist für die Anwendung dieser Methoden eine Aufteilung der kategorialen Variablen in Dummies erforderlich. Dies kann zu mehreren Problemen führen, und daher gibt es Erweiterungen für das Lasso...
Ich habe einen Datensatz mit 338 Prädiktoren und 570 Instanzen (kann leider nicht hochgeladen werden), auf denen ich das Lasso verwende, um die Funktionsauswahl durchzuführen. Insbesondere verwende ich die cv.glmnetFunktion glmnetwie folgt: Dabei mydata_matrixhandelt es sich um eine 570 x...
Was sind die Nachteile der Verwendung eines elastischen Netzes im Vergleich zu Lasso? Ich weiß, dass das elastische Netz Gruppen von Variablen auswählen kann, wenn sie stark korreliert sind. Es hat nicht das Problem, mehr als Prädiktoren auszuwählen, wenn p ≫ n ist . Während Lasso gesättigt ist,...
Das folgende Diagramm wird bei der Durchführung von LASSO mit dem glmnet-Paket erhalten: Gibt es eine Signifikanz der Fläche unter den Kurven (unter Verwendung von 0 als Basislinie) für die Berichterstattung über die Signifikanz der Variablen? Können wir sagen, dass die Bedeutung verschiedener...
Ich betrachte ein Regressionsmodell, bei dem eine sehr große Anzahl möglicher erklärender Variablen bewertet wird und schließlich eine kleine Anzahl über die Lasso-Methode der Variablenauswahl ausgewählt wird. Dasλλ\lambda Der Abstimmungsparameter im Lasso wird anhand der Leistung der...
Bei der linearen Regression von Grat und Lasso besteht ein wichtiger Schritt darin, den Abstimmungsparameter Lambda zu wählen. Oft verwende ich die Rastersuche auf der Protokollskala von -6-> 4, sie funktioniert gut auf Grat, aber auf Lasso sollte ich die Reihenfolge berücksichtigen der Größe...
Um herauszufinden, wie die LASSORegression funktioniert, habe ich einen kleinen Code geschrieben, der die LASSORegression durch Auswahl des besten Alpha-Parameters optimieren soll . Ich kann nicht herausfinden, warum die LASSORegression nach der Kreuzvalidierung so instabile Ergebnisse für den...
Angesichts der beiden äquivalenten Formulierungen des Problems für die LASSO-Regression, und \ min (RSS), so dass \ sum | \ beta_i | \ leq t , wie können wir die eine ausdrücken -zu-eins Korrespondenz zwischen \ lambda und t ?min(RSS+λ∑|βi|)min(RSS+λ∑|βi|)\min(RSS +
Sollte ich beim Übergang von der zur Normalisierung in der linearen Regression mehr Verzerrung oder Varianz erwarten? Beachten Sie, dass die Vorspannung ein Zeichen für eine Unteranpassung ist und die Varianz ein Zeichen für eine Überanpassung ist. Nehmen Sie eine Konstante λ an.L.2L2L^2L.1L1L^1...
Wenn ich es richtig verstehe, verwendet glmnet den zyklischen Koordinatenabstieg nicht nur für Lasso- und Gummibänder, sondern auch für die Ridge-Regression. Warum wird dieser Algorithmus verwendet, der manchmal leicht ungenaue Ergebnisse liefert, obwohl tatsächlich eine einfache Lösung in...
Ich habe einige Schwierigkeiten zu verstehen, wie Dualität zu der häufigen Form des LASSO-Problems und der Karush-Kuhn-Tucker-Bedingung führt, die als komplementäre Schlaffheit bezeichnet wird. Ich habe zwei Fragen: Wir wissen das angesichts eines Optimierungsproblems
Diese Frage wurde bereits gestellt, aber es gab keine Antworten, daher dachte ich, ich könnte sie noch einmal stellen. Ich bin daran interessiert, eine Lasso-Strafe auf eine Untergruppe der Regressoren anzuwenden, dh mit objektiver Funktion E=||y−X1β1−X2β2||2+λ||β1||1E=||y−X1β1−X2β2||2+λ||β1||1E...
Ich arbeite derzeit an diesem Problem und das Ziel ist es, ein lineares Regressionsmodell zu entwickeln, um mein Y (Blutdruck) mit 8 Prädiktoren unter Verwendung der Ridge & Lasso-Regression vorherzusagen . Ich beginne damit, die Bedeutung der einzelnen Prädiktoren zu untersuchen. Unten ist...