Als «lasso» getaggte Fragen

Wir alle kennen die in der Literatur gut dokumentierte Vorstellung, dass die LASSO-Optimierung (der Einfachheit halber hier auf den Fall der linearen Regression beschränkt) ist äquivalent zu dem linearen Modell mit Gaußschen Fehlern, bei dem die Parameter mit dem Laplace-Prioritätswert sind. , je...

Kürzlich habe ich festgestellt, dass es in der angewandten ökonometrischen Literatur nicht ungewöhnlich ist, LASSO durchzuführen, gefolgt von einer OLS-Regression unter Verwendung der ausgewählten Variablen. Ich habe mich gefragt, wie wir die Gültigkeit eines solchen Verfahrens beurteilen können....

Es folgt die Darstellung von glmnet mit dem Standard-Alpha (1, daher Lasso) unter Verwendung des mtcarsDatensatzes in R mit mpgals DV und anderen als Prädiktorvariablen. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Was können wir aus dieser Handlung in Bezug auf verschiedene Variablen schließen, vor...

Ich interessiere mich sehr für das elastische Netzverfahren für das Schrumpfen / Selektieren des Prädiktors. Es scheint sehr mächtig zu sein. Aber aus wissenschaftlicher Sicht weiß ich nicht genau, was ich tun soll, wenn ich die Koeffizienten habe. Welche Frage beantworte ich? Dies sind die...

Stufenweise algorithmische Variablenauswahlmethoden neigen dazu, Modelle auszuwählen, die mehr oder weniger jede Schätzung in Regressionsmodellen beeinflussen ( s und ihre SEs, p- Werte, F- Statistiken usw.), und schließen mit etwa der gleichen Wahrscheinlichkeit echte Prädiktoren aus wie schließen...

Die Frage, was aus diesem Lasso-Plot (glmnet) zu schließen ist, zeigt Lösungswege für den Lasso-Schätzer, die nicht monoton sind. Das heißt, einige der Cofficients nehmen im absoluten Wert zu, bevor sie schrumpfen. Ich habe diese Modelle auf verschiedene Arten von Datensätzen angewendet und dieses...

Ich kenne die Vorteile der Regularisierung bei der Erstellung von Vorhersagemodellen (Bias vs. Varianz, Vermeidung von Überanpassung). Aber ich frage mich, ob es eine gute Idee ist, auch Regularisierungen durchzuführen (Lasso, Grat, elastisches Netz), wenn der Hauptzweck des Regressionsmodells...

Ich führe ein LASSO mit einigen kategorialen und einigen kontinuierlichen Variablenprädiktoren. Ich habe eine Frage zu den kategorialen Variablen. Der erste Schritt, den ich verstehe, besteht darin, jeden von ihnen in Dummies zu zerlegen, sie für eine faire Bestrafung zu standardisieren und dann...

Bestrafte Regressionsschätzer wie LASSO und Ridge sollen Bayes'schen Schätzern mit bestimmten Prioritäten entsprechen. Ich vermute (da ich nicht genug über Bayes'sche Statistiken weiß), dass für einen festen Abstimmungsparameter ein konkreter entsprechender Prior existiert. Nun würde ein...

Ich verwende Lasso für die Merkmalsauswahl in einer relativ niedrigen Maßeinstellung (n >> p). Nach dem Anpassen eines Lasso-Modells möchte ich die Kovariaten mit Koeffizienten ungleich Null verwenden, um ein Modell ohne Abzug anzupassen. Ich mache das, weil ich unvoreingenommene Schätzungen...

In einem LASSO-Regressionsszenario, in dem y= Xβ+ ϵy=Xβ+ϵy= X \beta + \epsilon , und die LASSO-Schätzungen sind durch das folgende Optimierungsproblem gegeben Mindestβ| | y- Xβ| | +τ| | β| |1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Gibt es irgendwelche...

Wie passe ich ein lineares Modell an, wenn eine stetige abhängige Variable y und unabhängige Variablen einschließlich einer Ordinalvariablen X 1 gegeben sind R? Gibt es Papiere zu diesem

Ich versuche, mich über die Forschung im Bereich der hochdimensionalen Regression zu informieren. wenn größer als ist, ist das . Es scheint, als würde der Begriff häufig als Konvergenzrate für Regressionsschätzer verwendet.n p > > n log p / npppnnnp > > np>>np >> nLogp /...

Berücksichtigen Sie die lineare Regression mit einer gewissen Regularisierung: ZB Finden Sie , das minimiert| | A x - b | | 2 + λ | | x | | 1xxx| | Ax-b | |2+ λ | | x | |1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Normalerweise sind die Spalten von A so standardisiert, dass sie den Mittelwert...

Ich habe 150 Funktionen, von denen viele stark miteinander korreliert sind. Mein Ziel ist es, den Wert einer diskreten Variablen vorherzusagen, deren Bereich 1-8 ist . Meine Stichprobengröße beträgt 550 und ich verwende die 10-fache Kreuzvalidierung. AFAIK: Unter den Regularisierungsmethoden...

Wenn wir mit einer Datenmenge , Lasso anwenden und eine Lösung β L erhalten , können wir Lasso erneut auf die Datenmenge ( X S , Y ) anwenden , wobei S die Menge ungleich Null ist Indizes von β L , um eine Lösung zu erhalten , β R L , die so genannte ‚entspannt LASSO‘ Lösung (korrigiert mich wenn...

Bei der Erklärung der LASSO-Regression wird häufig das Diagramm eines Diamanten und eines Kreises verwendet. Es wird gesagt, dass, da die Form der Beschränkung in LASSO ein Diamant ist, die erhaltene Lösung der kleinsten Quadrate die Ecke des Diamanten berühren könnte, so dass dies zu einer...

Bei der Lasso oder Ridge-Regression muss ein Schrumpfungsparameter angegeben werden, der häufig als oder . Dieser Wert wird häufig über eine Kreuzvalidierung ausgewählt, indem eine Reihe verschiedener Werte in den Trainingsdaten überprüft wird und ermittelt wird, welche die besten Werte ergeben, z....

Ich habe mich gefragt, warum LASSO- und LARS-Modellauswahlmethoden so beliebt sind, obwohl sie im Grunde genommen nur Variationen der schrittweisen Vorauswahl sind (und daher unter Pfadabhängigkeit leiden). Warum werden GETS-Methoden (General to Specific) für die Modellauswahl meist ignoriert,...

Ich versuche herauszufinden , ob Ridge Regression , LASSO , Principal Component Regression (PCR) oder Partial Least Squares (PLS) in einer Situation mit einer großen Anzahl von Variablen / Merkmalen ( ) und einer geringeren Anzahl von Stichproben ( ), und mein Ziel ist die