Kann

11

Wenn , kann β β=argminβyXβ22+λβ1 zunehmen, wenn λ zunimmt?β2λ

Ich denke das ist möglich. Obwohl nicht zunimmt, wenn λ zunimmt (mein Beweis ), kann β 2 zunehmen. Die folgende Abbildung zeigt eine Möglichkeit. Wenn λ zunimmt und β (linear) von P nach Q wandert , nimmt β 2 zu, während β 1 abnimmt. Aber ich weiß nicht, wie man ein konkretes Beispiel konstruiert (dh X und y konstruiert)β1λβ2λβPQβ2β1Xy), so dass das Profil von dieses Verhalten zeigt. Irgendwelche Ideen? Vielen Dank.β

Geben Sie hier die Bildbeschreibung ein

Ziyuang
quelle

Antworten:

10

Die Antwort lautet ja, und Sie haben genau dort einen grafischen Beweis in .2

x2x1nx2,
nx21 Norm einen Norm.

In der Tat kann das Problem, das Sie lösen möchten, wie folgt angegeben werden:

d

x+d2>x2
x+d1<x1.

2ixidi>idi2
xi0xi+di0
idi<0.
d21

d[0.4,0.3]Tx:=P[0.5,0.6]T

idi0.1<0,
2iPidi0.04>0.25idi2.
Tommy L.
quelle
Xy
3

Xyλβ2βiX

βi=sign(βiLS)(βiLSλ)+

β1β2 nicht zunehmen kann.

Tatsächlich haben Hastie et al. erwähnt in der Arbeit Forward stagewise Regression und das monotone Lasso , eine notwendige und ausreichende Bedingung für die Monotonie der Profilpfade :

Geben Sie hier die Bildbeschreibung ein

In Abschnitt 6 der Arbeit konstruierten sie einen künstlichen Datensatz, der auf stückweise linearen Basisfunktionen basiert und die obige Bedingung verletzt und die Nicht-Monotonie zeigt. Wenn wir Glück haben, können wir auch einen zufälligen Datensatz erstellen, der das ähnliche Verhalten auf einfachere Weise demonstriert. Hier ist mein R-Code:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

Xββ

Geben Sie hier die Bildbeschreibung ein

λβ2

Geben Sie hier die Bildbeschreibung ein

λβ2λ

Ziyuang
quelle