Wie funktioniert die Ridge- oder Lasso-Regression wirklich?

Sehr grundlegende Frage hier, aber ich möchte verstehen (nicht mathematisch), wie die Tatsache, eine "Strafe" (Summe der quadratischen Koeffizienten mal Skalar) zur verbleibenden Quadratsumme hinzuzufügen, große Koeffizienten reduzieren kann? Vielen Dank !

Weil Ihre "Strafe" -Darstellung des Minimierungsproblems nur die weitreichende Form eines Problems der Einschränkungsoptimierung ist:

Nehmen Sie zentrierte Variablen an. In beiden Fällen, Lasso und Ridge, ist Ihre uneingeschränkte Zielfunktion dann die übliche Summe der quadratischen Residuen. dh gegebene Regressoren, die Sie minimieren: über alles .$p$

$$RSS(\boldsymbol{\beta}) = \sum_{i=1}^n (y_i-(x_{i,1}\beta_1 +\dots +x_{i,p}\beta_p))^2.$$ $\boldsymbol{\beta} =(\beta_1,\dots, \beta_p)$

Im Fall einer Gratregression minimieren Sie so, dass für einen Wert von . Für kleine Werte von es unmöglich, dieselbe Lösung wie im Standard-Szenario der kleinsten Quadrate abzuleiten. In diesem Fall minimieren Sie nur Denken Sie an dann an Die einzig mögliche Lösung kann .$RSS(\boldsymbol{\beta})$

$$\sum_{i=1}^p\beta_p^2 \leq t_{ridge},$$ $t_{ridge}\geq 0$$t_{ridge}$$RSS(\boldsymbol{\beta})$$t_{ridge}=0$$\beta_1\equiv \dots \equiv \beta_p = 0$

Andererseits minimieren Sie im Fall des Lassos unter der Bedingung für einen Wert von .$RSS(\boldsymbol{\beta})$

$$\sum_{i=1}^p|\beta_p| \leq t_{lasso},$$ $t_{lasso}\geq 0$

Beide eingeschränkten Optimierungsprobleme können in Bezug auf ein nicht eingeschränktes Optimierungsproblem äquivalent dargestellt werden, dh für das Lasso: Sie können äquivalent minimieren

$$\sum_{i=1}^n (y_i-(x_{i,1}\beta_1 +\dots +x_{i,p}\beta_p))^2 + \lambda_{lasso}\sum_{i=1}^p|\beta_p|.$$