Was sind die Vor- und Nachteile des Einsatzes von LASSO für die Ursachenanalyse?

8

Statistisches Lernen und seine Ergebnisse sind derzeit in den Sozialwissenschaften allgegenwärtig. Vor ein paar Monaten sagte Guido Imbens: "LASSO ist der neue OLS".

Ich habe ein wenig Maschinelles Lernen studiert und weiß, dass das Hauptziel die Vorhersage ist. Ich stimme auch Leo Breimans Unterscheidung zwischen zwei Statistikkulturen zu. Aus meiner Sicht ist die Kausalität also in gewissem Maße gegen die Vorhersage.

Ist maschinelles Lernen für dieses Ziel nützlich, wenn man bedenkt, dass die Wissenschaften normalerweise versuchen, kausale Zusammenhänge zu identifizieren und zu verstehen? Was sind insbesondere die Vorteile von LASSO für die Ursachenanalyse?

Gibt es Forscher (und Papiere), die sich mit diesen Fragen befassen?

machine-learning lasso causality Guilherme Duarte
quelle
2
Nun, OLS wird nicht sehr oft Schätzungen der kausalen Auswirkungen erstellen. Wenn LASSO also OLS ersetzen soll, hat es nicht die "Last", kausale Zusammenhänge zu entdecken. Auf dieser Seite finden Sie einige aktuelle ökonometrische Forschungsergebnisse zu kausalen Effekten und spärlichen Methoden: mit.edu/~vchern
Christoph Hanck
Für mich wäre die natürlichere Unterscheidung hier eher die von Shmueli ( "Erklären oder Vorhersagen" , 2010) als die von Breiman, aber vielleicht ist auch die Unterscheidung von Breiman in Ordnung.
Richard Hardy
@ChristophHanck. Nun, du hast recht. Der Punkt ist jedoch: OLS wurde häufig zur Abschätzung kausaler Effekte eingesetzt. Zum Beispiel befasst sich "Mostly Harmless Econometrics" mit mehreren diesbezüglichen Themen. Wenn es also mit OLS möglich ist, warum nicht mit LASSO? Wie auch immer, danke für den Hinweis.
Guilherme Duarte
@ RichardHardy Du hast vollkommen recht. Ich kenne dieses Papier. Ich habe gerade Breiman erwähnt, weil ich dachte, es wäre einfacher zu erklären.
Guilherme Duarte
2
Ich bin da nicht anderer Meinung: In Fällen, in denen OLS verwendet werden kann, um zufällige Effekte abzuschätzen, sehe ich nicht, warum Lasso nicht auch anwendbar sein sollte
Christoph Hanck

Antworten:

2

Ich kenne sicher nicht alle, also hoffe ich, dass es niemandem etwas ausmacht, wenn wir diesen Wiki-Stil machen.

Ein wichtiger Punkt ist jedoch, dass der LASSO voreingenommen ist (Quelle, Wasserman in der Vorlesung, sorry), was zwar in der Vorhersage akzeptabel ist, aber ein Problem bei der kausalen Folgerung darstellt. Wenn Sie Kausalität wollen, wollen Sie sie wahrscheinlich für die Wissenschaft, also versuchen Sie nicht nur, die nützlichsten Parameter zu schätzen (die seltsamerweise gut vorhersagen), sondern auch die WAHREN (!) Parameter zu schätzen.

one_observation
quelle
Gute Antwort! Wenn Sie voreingenommen sind, ist dies eine große Sache für kausale Schätzungen. Aber vielleicht könnte LASSO vorab in einem vollständigeren Verfahren zur Beurteilung der Kausalität eingesetzt werden.
Guilherme Duarte
Vielleicht! Deshalb bin ich gespannt darauf, dass andere Leute
mitmachen
@ GuilhermeDuarte, Es ist der Gesamtfehler, der zählt, nicht die Voreingenommenheit. Unter Quadratverlust kümmern wir uns um MSE, und das entspricht Bias + Varianz. Lasso kann trotz einiger Verzerrungen einen guten Kompromiss mit relativ kleinen MSE erzielen und sollte daher für die Ursachenanalyse nützlicher sein als eine unvoreingenommene Schätzung mit hohen MSE. Das eigentliche Problem mit Lasso ist, dass es schwierig ist, Konfidenzintervalle dafür zu erhalten. Derzeit ist das ein aktives Forschungsgebiet. 2
Richard Hardy
@RichardHardy Entschuldigung, Sie meinen, wenn wir uns um Kausalität kümmern, sollten wir uns keine Sorgen um Voreingenommenheit machen, sondern um die MSE? Dies ist mir nicht ganz klar
Guilherme Duarte
1
@GuilhermeDuarte, genau wie bei der Vorhersage, brauchen wir für die Kausalität genaue Schätzungen der Modellkoeffizienten. Die Präzision kann als absoluter Fehler, quadratischer Fehler usw. gemessen werden, jedoch nicht als Vorspannung. Beispielsweise können Sie gleichzeitig eine niedrige Vorspannung und einen hohen Schätzfehler aufweisen. Wenn Sie sich also die Voreingenommenheit ansehen, würden Sie denken, dass es Ihnen gut geht, aber das wäre irreführend, da der Schätzfehler (absolut, quadratisch oder welcher auch immer) hoch ist. Es ist der Schätzfehler, nicht die Verzerrung, die wichtig ist, wenn Sie Effektgrößen, statistische Signifikanz usw. bei der kausalen Inferenz berücksichtigen.
Richard Hardy