In der Zwischenzeit studiere ich LASSO (Operator für geringste absolute Schrumpfung und Auswahl). Ich sehe, dass der optimale Wert für den Regularisierungsparameter durch Kreuzvalidierung ausgewählt werden kann. Ich sehe auch in der Gratregression und vielen Methoden, die Regularisierung anwenden,...
Ich habe bereits eine Vorstellung von den Vor- und Nachteilen der Gratregression und des LASSO. Für das LASSO ergibt der L1-Strafausdruck einen Vektor mit geringem Koeffizienten, der als Merkmalsauswahlmethode angesehen werden kann. Es gibt jedoch einige Einschränkungen für den LASSO. Wenn die...
Ich versuche, mit LASSO eine Modellauswahl für einige Kandidaten-Prädiktoren mit einem kontinuierlichen Ergebnis durchzuführen. Das Ziel besteht darin, das optimale Modell mit der besten Vorhersageleistung auszuwählen, was normalerweise durch K-fache Kreuzvalidierung erfolgen kann, nachdem ein...
Ich arbeite derzeit daran, ein Vorhersagemodell für ein binäres Ergebnis in einem Datensatz mit ~ 300 Variablen und 800 Beobachtungen zu erstellen. Ich habe auf dieser Website viel über die Probleme gelesen, die mit der schrittweisen Regression verbunden sind, und warum man sie nicht verwendet. Ich...
Ich passe ein lineares Modell in R an glmnet. Das ursprüngliche (nicht regulierte) Modell wurde unter Verwendung von angepasst lmund hatte keinen konstanten Term (dh es war in der Form lm(y~0+x1+x2,data)). glmnetnimmt eine Matrix von Prädiktoren und einen Vektor von Antworten. Ich habe die...
Ich suche nach einer intuitiven Antwort, warum ein GLM LASSO-Modell einen bestimmten Prädiktor aus einer Gruppe stark korrelierter auswählt und warum dies anders ist als die Auswahl der besten Teilmengenfunktionen. Aus der in Abb. 2 in Tibshirani 1996 gezeigten Geometrie des LASSO gehe ich davon...
Mein Verständnis der LASSO-Regression ist, dass die Regressionskoeffizienten ausgewählt werden, um das Minimierungsproblem zu lösen: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t In der Praxis wird dies mit einem Lagrange-Multiplikator...
Ich habe diesen Artikel über elastisches Netz gelesen. Sie sagen, dass sie ein elastisches Netz verwenden, denn wenn wir nur Lasso verwenden, wird tendenziell nur ein Prädiktor unter den Prädiktoren ausgewählt, die stark korreliert sind. Aber wollen wir das nicht? Ich meine, es erspart uns die Mühe...
Ich habe drei reduzierte Modelle von einem Original-Vollmodell mit erhalten Vorauswahl Rückwärtseliminierung L1 Bestrafungstechnik (LASSO) Für die Modelle, die unter Verwendung von Vorwärtsauswahl / Rückwärtseliminierung erhalten wurden, erhielt ich die kreuzvalidierte Schätzung des...
Meine Situation: kleine Stichprobengröße: 116 binäre Ergebnisvariable lange Liste erklärender Variablen: 44 erklärende Variablen kamen nicht von oben; Ihre Wahl basierte auf der Literatur. Die meisten Fälle in der Stichprobe und die meisten Variablen haben fehlende Werte. Ansatz für die ausgewählte...
Wenn ich ein Design haben Matrix , wobei n die Anzahl der Beobachtungen der Dimension d , was die Komplexität der Lösung für β = argmin β 1X.∈ R.n × dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddmit LASSO, wrtnundd? Ich denke, die Antwort sollte sich darauf beziehen, wieeineLASSO-Iteration mit diesen...
Ich weiß, dass dies die statistische Schlussfolgerung trüben würde, aber es geht mir wirklich nur darum, einem genauen Modell so nahe wie möglich zu kommen. Ich habe eine dichotome Ergebnisvariable mit einer großen Anzahl dichotomer Prädiktoren. Ich denke, ich möchte versuchen, mit LASSO...
Ich war kürzlich bei einigen Statistikgesprächen über das Lasso (Regularisierung) und ein Punkt, der immer wieder auftaucht, ist, dass wir nicht wirklich verstehen, warum das Lasso funktioniert oder warum es so gut funktioniert. Ich frage mich, worauf sich diese Aussage bezieht. Natürlich verstehe...
Wie führe ich eine nicht negative Gratregression durch? Nicht-negatives Lasso ist in verfügbar scikit-learn, aber für Ridge kann ich die Nicht-Negativität von Betas nicht erzwingen, und tatsächlich erhalte ich negative Koeffizienten. Weiß jemand warum das so ist? Kann ich Ridge auch in Bezug auf...
In mehreren Antworten habe ich gesehen, dass CrossValidated-Benutzer OP vorschlagen, frühe Artikel über Lasso, Ridge und Elastic Net zu finden. Was sind für die Nachwelt die wegweisenden Arbeiten zu Lasso, Ridge und Elastic Net?
In meiner maschinellen Lernen Klasse haben wir gelernt , wie ist LASSO Regression sehr gut Merkmalsauswahl durchführen, da es die Verwendung von macht Regularisierung.l1l1l_1 Meine Frage: Verwenden Benutzer das LASSO-Modell normalerweise nur zur Funktionsauswahl (und speichern diese Funktionen dann...
Ich frage mich, wie ich ein LASSO-Modell mit glmnet in R richtig trainieren und testen soll. Insbesondere frage ich mich, wie ich dies tun soll, wenn das Fehlen eines externen Testdatensatzes die Kreuzvalidierung (oder einen ähnlichen Ansatz) zum Testen meines LASSO-Modells erfordert...
[Eine ähnliche Frage wurde hier ohne Antworten gestellt] Ich habe ein logistisches Regressionsmodell mit L1-Regularisierung (Lasso-logistische Regression) angepasst und möchte die angepassten Koeffizienten auf Signifikanz testen und ihre p-Werte erhalten. Ich weiß, dass Walds Tests (zum Beispiel)...
Angenommen, ich habe Längsschnittdaten der Form (ich habe mehrere Beobachtungen, dies ist nur die Form einer einzigen). Ich bin an Einschränkungen für interessiert . Ein uneingeschränktes entspricht der Einnahme von mit .Y=(Y1,…,YJ)∼N(μ,Σ)Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, Y_J) \sim...
Ich arbeite an einem prädiktiven Kostenmodell, bei dem das Alter des Patienten (eine in Jahren gemessene ganzzahlige Größe) eine der Prädiktorvariablen ist. Ein starker nichtlinearer Zusammenhang zwischen Alter und Risiko eines Krankenhausaufenthaltes ist offensichtlich: Ich denke über einen...