Warum Gruppen-Lasso anstelle von Lasso verwenden?

13

Ich habe gelesen, dass das Gruppen-Lasso für die Variablenauswahl und die Sparsamkeit in einer Gruppe von Variablen verwendet wird. Ich möchte die Intuition hinter dieser Behauptung kennen.

  • Warum wird Gruppenlasso dem Lasso vorgezogen?
  • Warum ist der Lösungsweg des Gruppen-Lassos nicht stückweise linear?
Vendetta
quelle
1
Was ich aus Yuan und Lin (2006) verstehe, ist Lasso für die Auswahl einzelner Variablen und nicht für die Auswahl von Faktoren. Lasso befasst sich also mit dem ANOVA-Problem, bei dem es darum geht, wichtige Haupteffekte und Wechselwirkungen für eine genaue Vorhersage auszuwählen, die auf die Auswahl von Variablengruppen hinausläuft. Das andere Beispiel ist ein Additionsmodell mit Polynom, bei dem jede Komponente als lineare Kombination von Basisfunktionen der ursprünglichen Messgrößen ausgedrückt wird
Vendetta

Antworten:

11

Intuitiv kann das Gruppen-Lasso dem Lasso vorgezogen werden, da es uns die Möglichkeit bietet, (eine bestimmte Art von) zusätzlichen Informationen in unsere Schätzung für den wahren Koeffizienten . Als extremes Szenario unter Berücksichtigung der folgenden Punkte:β

Mit sei S = { j : β j0 } als Träger von β . Betrachten wir die "Oracle" Schätzer β = arg min βy - X β 2 2 + λ ( | S | 1 / 2β S yN(Xβ,σ2ich)S={j:βj0}β die die Gruppe Lasso mit zwei Gruppen ist- man die wahre Träger und eine das Komplement. Lassen λ m ein x der kleinste Wert von seinem λ das macht β = 0 . Aufgrund der Natur der Gruppen-Lasso-Strafe wissen wir, dass sich bei λ von λ m a x nach λ m a x - ϵ bewegt

β^=argMindestβy-Xβ22+λ(|S|1/2βS2+(p-|S|)1/2βSC2),
λmeinxλβ^=0λλmeinxλmeinx-ϵ(für einige kleine ), wird genau eine Gruppe , in Unterstützung der Eingabe β , die allgemein als eine Schätzung für die gilt S . Aufgrund unserer Gruppierung wird die ausgewählte Gruppe mit hoher Wahrscheinlichkeit S sein , und wir haben einen perfekten Job gemacht.ϵ>0β^SS

In der Praxis wählen wir die Gruppen nicht so gut aus. Die Gruppen, auch wenn sie feiner sind als das obige extreme Szenario, werden uns dennoch helfen: Die Wahl würde weiterhin zwischen einer Gruppe wahrer Kovariaten und einer Gruppe unwahrer Kovariaten getroffen werden. Wir leihen uns immer noch Kraft.

Dies wird hier formalisiert . Sie zeigen unter bestimmten Bedingungen, dass die Obergrenze des Vorhersagefehlers des Gruppen-Lassos niedriger ist als die Untergrenze des Vorhersagefehlers des einfachen Lassos. Das heißt, sie haben bewiesen, dass die Gruppierung unsere Einschätzung verbessert.

L(β)=yXβ22J(β)=gG|g|1/2βg2

(2L(β^)+λ2J(β^))1J(β^)
J
user795305
quelle
2
Das macht jetzt sehr viel Sinn. Vielen Dank für Ihre Antwort.
Vendetta
4

Bens Antwort ist das allgemeinste Ergebnis. Die intuitive Antwort auf das OP ist jedoch durch den Fall kategorialer Prädiktoren motiviert, die normalerweise als mehrere Dummy-Variablen codiert sind: eine für jede Kategorie. In vielen Analysen ist es sinnvoll, diese Dummy-Variablen (die einen kategorialen Prädiktor darstellen) zusammen und nicht getrennt zu betrachten.

Wenn Sie eine kategoriale Variable mit beispielsweise fünf Ebenen haben, lässt ein Straight Lasso möglicherweise zwei In- und drei Outs. Wie gehen Sie prinzipiell damit um? Entscheide dich zu stimmen? Verwenden Sie im wahrsten Sinne des Wortes die Dummy-Variablen anstelle der aussagekräftigeren kategorialen? Wie wirkt sich Ihre Dummy-Codierung auf Ihre Auswahl aus?

Wie in der Einführung von The group lasso for logistic regression heißt es:

Bereits für den Sonderfall der linearen Regression, bei dem nicht nur kontinuierliche, sondern auch kategoriale Prädiktoren (Faktoren) vorliegen, ist die Lasso-Lösung nicht zufriedenstellend, da nur einzelne Dummy-Variablen anstelle ganzer Faktoren ausgewählt werden. Darüber hinaus hängt die Lasso-Lösung davon ab, wie die Dummy-Variablen codiert werden. Die Auswahl unterschiedlicher Kontraste für einen kategorialen Prädiktor führt im Allgemeinen zu unterschiedlichen Lösungen.

Wie Ben hervorhebt, gibt es auch subtilere Verknüpfungen zwischen Prädiktoren, die möglicherweise darauf hinweisen, dass sie zusammen ein- oder ausgehen sollten. Aber kategoriale Variablen sind das Aushängeschild für Gruppen-Lasso.

Wayne
quelle
@Ben: Hmmm ... Ich kann den ersten Kommentar des OP nicht wirklich verstehen. Es sieht so aus, als wäre es eine Antwort auf einen jetzt gelöschten Kommentar? Die Frage selbst und ihr Titel - wie die meisten Zuschauer sie lesen werden - scheint eine allgemeine Frage zu sein. Ich werde meine Antwort auf jeden Fall löschen, wenn Frage und Titel in "Welche nicht offensichtlichen Anwendungen gibt es, um Lasso über den Fall kategorialer Variablen hinaus zu gruppieren?" Geändert werden.
Wayne
Okay. Ich mag Ihren Standpunkt dazu, wie die Verwendung von (einfachem) Lasso bei Faktoren die Schätzungen von der Kodierung der Faktoren abhängig macht! Ich habe früher nur gedacht, dass das Gruppen-Lasso uns eine Art "Mess-Sparsity" anstelle eines "Parameter-Sparsity" gibt (dh wir sollten den Faktor messen müssen oder nicht - alle Ebenen sollten ausgewählt sein oder keine.)
user795305