Wie schätze ich den Schrumpfungsparameter bei Lasso oder Kammregression mit> 50K Variablen?

Ich möchte Lasso oder Ridge-Regression für ein Modell mit mehr als 50.000 Variablen verwenden. Ich möchte dies mithilfe des Softwarepakets in R tun. Wie kann ich den Schrumpfungsparameter ( ) schätzen ? $\lambda$

Bearbeitungen:

Hier ist der Punkt, zu dem ich gekommen bin:

set.seed (123)
Y <- runif (1000)
Xv <- sample(c(1,0), size= 1000*1000,  replace = T)
X <- matrix(Xv, nrow = 1000, ncol = 1000)

mydf <- data.frame(Y, X)

require(MASS)
lm.ridge(Y ~ ., mydf)

plot(lm.ridge(Y ~ ., mydf,
              lambda = seq(0,0.1,0.001)))

Bildbeschreibung hier eingeben

Meine Frage lautet: Woher weiß ich, welches am besten für mein Modell ist? $\lambda$

r lasso ridge-regression high-dimensional John
quelle

Der Glättungsparameter ist statistisch nicht abschätzbar, wird jedoch ausgewählt, um die Anpassung außerhalb der Stichprobe zu maximieren, indem beispielsweise eine Kreuzvalidierung durchgeführt wird. Ich denke, die Standardpakete für LASSO und Ridge Regression in R haben eine integrierte Funktionalität, um dies für Sie zu tun - haben Sie das untersucht?

Makro

Ich bin anderer Meinung - Sie können den Glättungsparameter mithilfe eines gemischten Modellansatzes schätzen. Reml-Methoden existieren ebenso wie heirarchische Bayes-Methoden. Sie benötigen keine teure Quervalidierung.

Wahrscheinlichkeitsrechnung

@ probabilityislogic danke für die Informationen. Es wäre großartig, wenn es nur wenige Details im Skript gibt, wie wir dies mit reml tun können

John,

Für die Ridge-Regression ist die einmalige Kreuzvalidierung im Wesentlichen kostenlos (Allen's PRESS-Statistik), und ich habe festgestellt, dass dies eine einigermaßen gute Methode ist. Allerdings ist so gut wie jede Methode, die Sie verwenden, unter Umständen instabil, und ein vollständig bayesianischer Ansatz, bei dem sowohl die Parameter als auch die Regularisierungsparameter an den Rand gedrängt werden, ist wahrscheinlich eine zuverlässigere Lösung (wie Wahrscheinlichkeitsanalyse vermuten ließ). Wenn Sie Bayes'sche Methoden nicht mögen, verwenden Sie das Absacken und schätzen Sie das Lambda jedes Mal neu.

Dikran Beuteltier

@Macro - (nichts wie eine Antwort 18 Monate später). Beim Mixed-Model-Ansatz gibt es zwei zusätzliche Begriffe, die nur von , nicht jedoch von abhängen . Dies sind undDabei ist die Anzahl der Betas und X die Vorhersagematrix. Der erste Term kommt von wobei Fehlervarianz ist. Der zweite Term ist eine REML-Korrektur, um die Unsicherheit beim Einstecken von zu berücksichtigen .

λ

$\lambda$

β

$\beta$

- k \log (λ)

$-k\log(\lambda)$

\log | X^{T} X + λ I |

$\log|X^TX+\lambda I|$

k

$k$

β \sim N (0, σ^{2} λ^{- 1})

$\beta\sim N(0,\sigma^2\lambda^{-1})$

σ^{2}

$\sigma^2$

β = \hat{β}

$\beta=\hat{\beta}$

Wahrscheinlichkeitslogik

Antworten:

Die Funktion cv.glmnetaus dem R-Paket glmnet führt eine automatische Kreuzvalidierung für ein Gitter mit Werten durch, das für -pensierte Regressionsprobleme verwendet wird. Insbesondere für das Lasso. Das glmnet-Paket unterstützt auch die allgemeinere Strafe für elastische Netze , die eine Kombination aus und . Ab Version 1.7.3. Wenn der -Parameter des Pakets gleich 0 ist, ergibt sich eine Ridge-Regression (zumindest wurde diese Funktionalität erst kürzlich dokumentiert). $\lambda$ $\ell_1$ $\ell_1$ $\ell_2$ $\alpha$

Die Kreuzvalidierung ist eine Schätzung des erwarteten Generalisierungsfehlers für jedes und kann sinnvoll als Minimierer dieser Schätzung gewählt werden. Die Funktion gibt zwei Werte von . Der Minimierer und der immer größere Minimierer stellen eine heuristische Wahl von , die ein weniger komplexes Modell erzeugt, für das die Leistung in Bezug auf den geschätzten erwarteten Generalisierungsfehler innerhalb eines Standardfehlers des Minimums liegt. Im glmnet-Paket sind verschiedene Auswahlmöglichkeiten für Verlustfunktionen zur Messung des Generalisierungsfehlers möglich. Das Argument gibt die Verlustfunktion an. $\lambda$ $\lambda$ cv.glmnet $\lambda$ lambda.minlambda.1se $\lambda$ type.measure

Alternativ enthält das R-Paket mgcv umfangreiche Schätzmöglichkeiten mit quadratischer Bestrafung einschließlich automatischer Auswahl der Strafparameter. Die implementierten Methoden umfassen, wie in einem Kommentar erwähnt, eine verallgemeinerte Kreuzvalidierung und REML. Weitere Details finden Sie im Buch des Paketautors: Wood, SN (2006) Generalized Additive Models: Eine Einführung mit R, CRC.

NRH
quelle

Vielleicht möchten Sie wahrscheinlich , dass hinzufügen cv.glmnetkehrt zwei Werte für , und ( „one-Standard-error“ -Regel).

λ

$\lambda$ lambda.minlambda.1se

Chl

@chl, danke für den Vorschlag. Ich hätte das hinzufügen sollen.

NRH

Diese Antwort ist MATLAB-spezifisch. Die Grundkonzepte sollten jedoch denen von R sehr ähnlich sein.

Im Fall von MATLAB haben Sie die Möglichkeit, Lasso mit aktivierter Kreuzvalidierung auszuführen.

In diesem Fall meldet die Lasso-Funktion zwei kritische Parameterwerte

Der Lambda-Wert, der den kreuzvalidierten mittleren quadratischen Fehler minimiert
Der Lambdawert mit der größten Schrumpfung, dessen CVMSE innerhalb eines Standardfehlers des Minimums liegt.

Sie erhalten auch ein kleines Diagramm, mit dem Sie die Beziehung zwischen Lambda und CVMSE untersuchen können

Bildbeschreibung hier eingeben

Im Allgemeinen wählen Sie einen Lambda-Wert, der zwischen der blauen und der grünen Linie liegt.

Der folgende Blogeintrag enthält einige Demo-Codes, die auf einigen Beispielen in basieren

Tibshirani, R. (1996). Regressionsschrumpfung und Selektion über das Lasso. J. Royal. Statist. Soc B., Bd. 58, Nr. 1, Seiten 267-288).

http://blogs.mathworks.com/loren/2011/11/29/subset-selection-and-regularization-part-2/

Richard Willey
quelle

Ich habe gute Erfolge hat effektive AIC, dass AIC mit den effektiven Freiheitsgraden - siehe Grau JASA 87: 942 1992 für eine effektive df Dies wird implementiert für Strafe in dem R - Paket für lineare und logistische Modelle und Mit dieser Funktion kann der Schrumpfungskoeffizient ermittelt werden, der den effektiven AIC optimiert. Eine Fallstudie, die zeigt, wie eine differentielle Schrumpfung (z. B. eine stärkere Schrumpfung für Wechselwirkungen) durchgeführt wird, ist Harrell et al. Stat in Med. 17: 909, 1998. $L_{2}$ rmsrms pentrace

Frank Harrell
quelle

Scheint eine sehr interessante Antwort zu sein, möchten Sie etwas näher darauf eingehen?

Yair Daon

Siehe biostat.mc.vanderbilt.edu/wiki/pub/Main/FHHandouts/iscb98.pdf

Frank Harrell