Bestrafte Modelle können verwendet werden, um Modelle zu schätzen, bei denen die Anzahl der Parameter gleich oder sogar größer als die Stichprobengröße ist. Diese Situation kann in logarithmisch linearen Modellen großer, spärlicher Tabellen mit kategorialen oder Zähldaten auftreten. In diesen...
Angenommen, ich habe Längsschnittdaten der Form (ich habe mehrere Beobachtungen, dies ist nur die Form einer einzigen). Ich bin an Einschränkungen für interessiert . Ein uneingeschränktes entspricht der Einnahme von mit .Y=(Y1,…,YJ)∼N(μ,Σ)Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, Y_J) \sim...
Ich arbeite an einem prädiktiven Kostenmodell, bei dem das Alter des Patienten (eine in Jahren gemessene ganzzahlige Größe) eine der Prädiktorvariablen ist. Ein starker nichtlinearer Zusammenhang zwischen Alter und Risiko eines Krankenhausaufenthaltes ist offensichtlich: Ich denke über einen...
Ich habe eine Frage zum Modellieren von Text über Zähldaten, insbesondere zum Verwenden der lassoTechnik zum Reduzieren von Features. Angenommen, ich habe N Online-Artikel und die Anzahl der Seitenaufrufe für jeden Artikel. Ich habe 1 Gramm und 2 Gramm für jeden Artikel extrahiert und wollte eine...
Diese Frage mag dumm sein, aber ich habe festgestellt, dass es zwei verschiedene Formulierungen der Lasso- Regression gibt. Wir wissen, dass das Lasso- Problem darin besteht, das Ziel zu minimieren, das aus dem plus dem 1-Strafausdruck besteht, ausgedrückt wie folgt:
Ich habe aus anderen Beiträgen erfahren, dass man Prädiktorvariablen, die in ein Lasso-Modell eingehen, keine "Wichtigkeit" oder "Signifikanz" zuweisen kann, da die Berechnung der p-Werte oder Standardabweichungen dieser Variablen noch in Arbeit ist. Ist es unter diesen Umständen richtig zu...
Ich führe eine Analyse durch, bei der das Hauptziel darin besteht, die Daten zu verstehen. Der Datensatz ist groß genug für eine Kreuzvalidierung (10 KB), und Prädiktoren enthalten sowohl kontinuierliche als auch Dummy-Variablen, und das Ergebnis ist kontinuierlich. Hauptziel war es zu sehen, ob es...
\def\l{|\!|} Angesichts der elastischen Netzregression minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 Wie kann ein geeigneter Bereich von λλ\lambda für die Kreuzvalidierung...
Die R-Funktion cv.glm (Bibliothek: Boot) berechnet den geschätzten K-fachen Kreuzvalidierungs-Vorhersagefehler für verallgemeinerte lineare Modelle und gibt Delta zurück. Ist es sinnvoll, diese Funktion für eine Lasso-Regression (Bibliothek: glmnet) zu verwenden, und wenn ja, wie kann sie...
Angenommen, ich habe einen hochdimensionalen Datensatz und möchte eine Feature-Auswahl durchführen. Eine Möglichkeit besteht darin, ein Modell zu trainieren, das die wichtigsten Merkmale in diesem Datensatz identifizieren kann, und dieses zu verwenden, um die am wenigsten wichtigen wegzuwerfen. In...
Ich dachte daran, Lasso mit Vanille-Subgradienten-Methoden zu lösen. Aber ich habe Leute gelesen, die vorschlagen, den proximalen Gradientenabstieg zu verwenden. Kann jemand hervorheben, warum für Lasso proximale GD anstelle von Vanille-Subgradienten-Methoden verwendet
In ihrer wegweisenden Arbeit 'Least Angle Regression' beschreiben Efron et al. Eine einfache Modifikation des LARS-Algorithmus, mit der vollständige LASSO-Regularisierungspfade berechnet werden können. l1l1l_1∥β∥1‖β‖1\Vert \beta \Vert_1 Es scheint jedoch, dass die meisten verfügbaren Pakete den...
Gegeben , was ist das theoretische Verhalten von LASSO - Koeffizienten und warum?x2=2x1x2=2x1x_2 = 2 x_1 Würde einer von oder auf oder beide schrumpfen ?x1x1x_1x2x2x_2000 require(glmnet) x1 = runif(100, 1, 2) x2 = 2*x1 x_train = cbind(x1, x2) y = 100*x1 + 100 + runif(1) ridge.mod =...
Ich versuche, ein reduziertes Modell zu erstellen, um viele abhängige Variablen (DV) (~ 450) vorherzusagen, die stark korreliert sind. Meine unabhängigen Variablen (IV) sind ebenfalls zahlreich (~ 2000) und stark korreliert. Wenn ich das Lasso verwende, um ein reduziertes Modell für jede Ausgabe...
Ich habe einen Datensatz mit ungefähr 5.000 häufig korrelierten Merkmalen / Kovariaten und einer binären Antwort. Die Daten wurden mir gegeben, ich habe sie nicht gesammelt. Ich benutze Lasso und Gradientenverstärkung, um Modelle zu bauen. Ich verwende iterierte, verschachtelte Kreuzvalidierung....
Ich bin mir bewusst, dass es gängige Praxis ist, die Merkmale für die Ridge- und Lasso-Regression zu standardisieren. Wäre es jedoch jemals praktischer, die Merkmale auf einer (0,1) -Skala als Alternative zur Z-Score-Standardisierung für diese Regressionsmethoden zu normalisieren?...
Statistisches Lernen und seine Ergebnisse sind derzeit in den Sozialwissenschaften allgegenwärtig. Vor ein paar Monaten sagte Guido Imbens: "LASSO ist der neue OLS". Ich habe ein wenig Maschinelles Lernen studiert und weiß, dass das Hauptziel die Vorhersage ist. Ich stimme auch Leo Breimans...
Ich regressiere einen kontinuierlichen Prädiktor für über 60 Variablen (sowohl kontinuierlich als auch kategorial) mit LASSO (glmnet). Bei der Untersuchung des variablen Trace-Diagramms stelle ich fest, dass eine der Schlüsselvariablen mit zunehmendem log Lambda einen Koeffizienten aufweist, der...
Was sind die Nachteile der Verwendung eines elastischen Netzes im Vergleich zu Lasso? Ich weiß, dass das elastische Netz Gruppen von Variablen auswählen kann, wenn sie stark korreliert sind. Es hat nicht das Problem, mehr als Prädiktoren auszuwählen, wenn p ≫ n ist . Während Lasso gesättigt ist,...
Ich verstehe , dass die Drucksensor sparsamsten Lösung findet wobei x ∈ R D , A ∈ R k × D und y ∈ R k , k < < D .y=Axy=Axy = Axx∈RDx∈RDx \in \mathbb{R}^DA∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}y∈Rky∈Rky \in \mathbb{R}^{k}k<<Dk<<Dk