Was bedeuten Statistiker, wenn sie sagen, wir verstehen nicht wirklich, wie die LASSO (Regularisierung) funktioniert?

10

Ich war kürzlich bei einigen Statistikgesprächen über das Lasso (Regularisierung) und ein Punkt, der immer wieder auftaucht, ist, dass wir nicht wirklich verstehen, warum das Lasso funktioniert oder warum es so gut funktioniert. Ich frage mich, worauf sich diese Aussage bezieht. Natürlich verstehe ich, warum das Lasso technisch funktioniert, um eine Überanpassung durch Schrumpfen der Parameter zu verhindern, aber ich frage mich, ob eine solche Aussage eine tiefere Bedeutung hat. Hat jemand irgendwelche Ideen? Vielen Dank!

machine-learning lasso regularization user321627
quelle
1
Definieren Sie "funktioniert". Funktioniert was genau zu tun? Arbeiten, um die Sparsamkeit zu erhöhen? Verhindert Überanpassung? Arbeiten, um vernünftige statistische Tests zu erstellen? - Oder anders ausgedrückt, was würde "nicht funktionieren" in diesem Zusammenhang bedeuten? - Wie Sie den Kommentaren zur aktuellen Antwort entnehmen können, gibt es einige Verwirrung darüber, wonach Sie suchen.
RM
@RM, Sie formulieren gerade das OP neu, IMHO. Das OP ist wahrscheinlich nach dem gleichen Unbekannten wie das, das Sie nur schwer identifizieren können.
Richard Hardy
1
@RichardHardy Ich sehe, wie das der Fall sein könnte, aber wenn ja, würde ich hoffen, dass das OP zumindest den Kontext in den Statistikgesprächen, in denen der Punkt angesprochen wurde, erweitern könnte, um uns hoffentlich dabei zu helfen, uns auf das zu konzentrieren, was diese Redner könnten habe nachgedacht.
RM
@ RM, gut dann.
Richard Hardy

Antworten:

11

Manchmal mangelt es an Kommunikation zwischen arbeitenden Statistikern und der lerntheoretischen Gemeinschaft, die die Grundlagen von Methoden wie dem Lasso untersuchen. Die theoretischen Eigenschaften des Lassos sind tatsächlich sehr gut verstanden.

Dieses Dokument enthält in Abschnitt 4 eine Zusammenfassung vieler seiner Eigenschaften. Die Ergebnisse sind recht technisch, aber im Wesentlichen:

  • Es stellt die wahre Unterstützung (Satz von Einträgen ungleich Null) eines Vektors mit geringer Dichte unter einigen milden Annahmen für ausreichend große Datensätze mit hoher Wahrscheinlichkeit wieder her.
  • X
AaronDefazio
quelle
3

Wenn Sie verstehen, warum Lasso funktioniert, meinen Sie, warum es die Feature-Auswahl durchführt (dh die Gewichte für einige Features auf genau 0 setzen), verstehen wir das sehr gut:

Lasso-Regularisierung als Lagrange-Optimierung

spülen
quelle
4
Vielen Dank für eine schöne Illustration, aber ich vermute, dass dies nicht der Teil ist, an dem das OP interessiert ist. Natürlich ist es Sache des OP, dies zu klären.
Richard Hardy
Ich verstehe die Punkte Ihres Diagramms nicht.
Michael R. Chernick
7
L1λ^
4
@Chaconne, deine Punkte bilden eine gute Basis für eine Antwort!
Richard Hardy
1
@Chaconne, es schien nützliche Diskussion zu erzeugen , obwohl durch die Identifizierung , was wir tun über Lasso verstehen!
Rinspy
2

Es gibt das Problem der Vorzeichenwiederherstellung der Modellauswahlkonsistenz (das von Statistikern beantwortet wurde ) und

Es gibt das Problem der Inferenz (Erstellung guter Konfidenzintervalle für die Schätzungen), das bis zu einem Forschungsthema reicht.

Der Großteil der Arbeit wird eher von Statistikern als von "der lerntheoretischen Gemeinschaft" geleistet.

Gao Zheng
quelle
Wie trägt dies zu dem bei, was bereits gegeben wurde?
Michael R. Chernick
Niemand hat hier das Problem der Folgerung erwähnt, was meines Erachtens der Grund ist, warum die Behauptung ("es ist nicht gut verstanden") überhaupt erst gemacht wurde.
Gao Zheng