Wenn p> n, wählt das Lasso höchstens n Variablen aus

Eine der Beweggründe für das elastische Netz war die folgende Einschränkung von LASSO:

Im Fall $p > n$ wählt das Lasso aufgrund der Art des konvexen Optimierungsproblems höchstens n Variablen aus, bevor es gesättigt wird. Dies scheint ein einschränkendes Merkmal für eine variable Auswahlmethode zu sein. Darüber hinaus ist das Lasso nur dann gut definiert, wenn die Grenze für die L1-Norm der Koeffizienten kleiner als ein bestimmter Wert ist.

( http://onlinelibrary.wiley.com/doi/10.1111/j.1467-9868.2005.00503.x/full )

Ich verstehe, dass LASSO ein quadratisches Programmierproblem ist, aber auch über LARS oder elementweisen Gradientenabstieg gelöst werden kann. Ich verstehe jedoch nicht, wo bei diesen Algorithmen ein Problem auftritt, wenn wobei die Anzahl der Prädiktoren und die Stichprobengröße ist. Und warum wird dieses Problem mit dem elastischen Netz gelöst, bei dem ich das Problem auf Variablen erweitere, die deutlich über $p > n$ $p$ $n$ $p+n$ $p$ .

regression optimization feature-selection lasso user1137731
quelle

Wenn Lasso die Verwendung von p <= n einschränkt, ist dies eher ein Nachteil als eine Tugend. Überanpassung ist ein ernstes Problem, das auftritt, wenn p = n. Das Modell mit p = n ist ein gesättigtes Modell, und dieses Modell passt häufig über, weil es perfekt zu den beobachteten Daten passt, aber zukünftige Fälle nicht unbedingt gut vorhersagt.

Michael R. Chernick

Dass das Lasso nur bis zu

Variablen auswählt , ist darauf zurückzuführen, dass es mit dem LARS-Algorithmus (eine geringfügige Modifikation) gelöst werden kann, der jeweils nur bis zu

Variablen in die aktive Menge aufnimmt. Dass dies in dem elastischen-net Fall nicht gilt folgt im wesentlichen aus dem Einbau der

Strafe und so verhält sich eher wie ridge regression, von denen die letztere normalerweise Ergebnisse in allen Nicht - Null - Koeffizienten sind.

n

$n$

n

$n$

ℓ_{2}

$\ell_2$

Kardinal

Vielen Dank für die Antworten und wie würde ich sehen, dass höchstens n Variablen für den Gradientenabstieg ausgewählt werden können: Präsentation unter cs.cmu.edu/afs/cs/project/link-3/lafferty/www/ml-stat2/talks/ … Paper (Abschnitt 4) unter datamining.dongguk.ac.kr/papers/GLASSO_JRSSB_V1.final.pdf

user1137731 30.09.12

@user: Ich denke, Sie können das mathematische Problem mit seiner numerischen Lösung in Konflikt bringen . Der LARS-Algorithmus zeigt, dass die Lasso-Lösung höchstens

Variablen auswählt . Dies ist unabhängig von den tatsächlichen numerischen Mitteln, um zur Lösung zu gelangen, dh der LARS-Algorithmus gibt Aufschluss über das Problem, aber natürlich muss jede andere Methode, die das Problem gleichwertig löst, dieselbe Eigenschaft haben! :-)

n

$n$

Kardinal

Betrachten Sie ein Feature, das

mal dupliziert wurde. Es wird einen Lasso-Schätzer mit genau

Nonzeroes geben (auch wenn

). Daher ist Ihre Aussage nicht so, wie sie geschrieben wurde.

p

$p$

p

$p$

p > n

$p>n$

user795305

Antworten:

Wie gesagt, dies ist keine Eigenschaft eines Algorithmus, sondern des Optimierungsproblems. Die KKT Bedingungen im Grunde geben , daß für die Koeffizienten zu sein , nicht Null es mit dem Rest entspricht eine feste Korrelation hat ( ist der Regularisierungsparameter). $\beta_j$ $|X_j^t(y-X\beta)| = \lambda$ $\lambda$

Nachdem Sie die verschiedenen Komplikationen mit dem Absolutwert usw. gelöst haben, bleibt eine lineare Gleichung für jeden Nicht-Null-Koeffizienten übrig. Da der Rang der Matrix höchstens $X$ $n$ wenn $p>n$ , ist dies die Anzahl der Gleichungen, die gelöst werden können, und daher gibt es höchstens n Nicht-Nullen (es sei denn, es gibt Redundanzen).

Dies gilt übrigens für jede Verlustfunktion, nicht nur für das Standard-Lasso mit -Verlust. Es ist also in der Tat eine Eigenschaft der Lasso-Strafe. Es gibt viele Artikel, die diese KKT-Sicht und die daraus resultierenden Schlussfolgerungen zeigen. Ich kann auf unseren Artikel verweisen: Rosset und Zhu, Piecewise Linear Regularized Solutions Paths, Annals of Stats 2007 und Refs darin. $L_2$

Saharon Rosset
quelle

Wofür steht KKT? Ist es auch möglich, dass Sie L1-Verlust meinen, wenn Sie über das Standard-Lasso sprechen?

Miura

Hallo Saharon und willkommen auf der Seite. Sie können LaTeX verwenden, um Formeln übersichtlicher zu gestalten (das habe ich in Ihrer Antwort getan), und Sie müssen Ihre Posts nicht signieren, da eine Signatur automatisch hinzugefügt wird.

Peter Flom - Wiedereinsetzung von Monica

@miura: KKT steht für Karush-Kuhn-Tucker. Die KKT-Bedingungen sind bestimmte Gleichungen, die Lösungen für (ausreichend regelmäßige) Optimierungsprobleme erfüllen müssen ( Wikipedia-Artikel ).

Mogron

Ich sehe nur, dass Ryan Tibshirani ein sehr relevantes Arbeitspapier 'Das Lasso-Problem und die Einzigartigkeit' hat: stat.cmu.edu/~ryantibs/papers/lassounique.pdf

user1137731 08.10.12

Eine andere Erklärung ist die folgende: Wenn , ist der Rang der Datenmatrix höchstens , so dass die Dimension ihres (rechten) Nullraums mindestens . Schreiben Sie einen beliebigen Vektor in diesen Nullraum als . Dann wird bei jedem zulässigen Punkt , kann man immer in diesen Schritt -dimensionalen Nullraum in Richtung der Koordinatenachsen des -dimensionalen Umgebungsraum, bei einem ankommen , wobei (höchstens) s sind ungleich Null und die LASSO-Zielfunktion $n < p$ $X$ $n$ $p - n$ $z$ $\beta$ $p - n$ $p$ $\beta+z$ $n$ $\beta_j$

‖ y - X (β + z) ‖_{2}^{2} + λ ‖ β + z ‖_{1} = ‖ y - X β ‖_{2}^{2} + λ ‖ β + z ‖_{1} < ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

hat abgenommen.

user2969758
quelle

(+1) Hier gibt es eine Lücke: siehe meinen Kommentar zu OPs Beitrag.

user795305