Ridge & LASSO Normen

Dieser Beitrag folgt diesem: Warum wird die Kammschätzung besser als die OLS, indem der Diagonale eine Konstante hinzugefügt wird?

Hier ist meine Frage:

Soweit ich weiß, verwendet die eine ℓ 2 -Norm (euklidischer Abstand). Aber warum verwenden wir das Quadrat dieser Norm? (Eine direkte Anwendung von ℓ 2 würde mit der Quadratwurzel der Summe des Beta-Quadrats resultieren).$\ell_2$$\ell_2$

Zum Vergleich machen wir dies nicht für den LASSO, der zur Regularisierung eine -Norm verwendet. Aber hier ist es die "echte" ℓ 1- Norm (nur die Summe des Quadrats der Beta-Absolutwerte und nicht das Quadrat dieser Summe).$\ell_1$$\ell_1$

Kann mir jemand bei der Klärung helfen?

Ridge und Lasso sind zwei Arten der Regularisierung und eine Regression. Die Lasso-Regression legt eine Einschränkung für die Summe der absoluten Koeffizienten fest:

$\sum_i \sqrt{\beta_i^2} = ||\beta||_1$

Die Ridge-Regression legt eine Einschränkung der Summe der quadratischen Differenzen fest:

$\sum_i \beta_i^2 = \sqrt{\sum_i \beta_i^2}^2 = ||\beta_i||_2^2$

Sie haben vorgeschlagen, noch eine andere Norm einzuführen, die euklidische Länge der Koeffizienten:

$\sqrt{\sum_i \beta_i^2} = ||\beta_i||_2$

Der Unterschied zwischen der Ridge-Regression und der euklidischen Länge ist die Quadratur. Dies ändert die Interpretation der Regularisierung. Während sowohl der Kamm als auch die euklidische Länge gegen Null regulieren, unterscheidet sich die Kammregression auch im Ausmaß der Regularisierung. Koeffizienten, die weiter von Null entfernt sind, ziehen stärker gegen Null. Dies macht es um Null stabiler, da sich die Regularisierung allmählich um Null ändert. Dies ist nicht der Fall für die euklidische Länge oder tatsächlich für die Lasso-Regression.

Es gibt viele bestrafte Ansätze, die jetzt alle möglichen unterschiedlichen Straffunktionen haben (Ridge, Lasso, MCP, SCAD). Die Frage, warum eine bestimmte Form vorliegt, lautet grundsätzlich: "Welche Vor- und Nachteile bietet eine solche Strafe?".

Eigenschaften von Interesse könnten sein:

1) nahezu unvoreingenommene Schätzer (beachten Sie, dass alle bestraften Schätzer voreingenommen sind)

2) Sparsity (Note Ridge Regression führt nicht zu spärlichen Ergebnissen, dh es schrumpft die Koeffizienten nicht bis auf Null)

3) Kontinuität (um Instabilität bei der Modellvorhersage zu vermeiden)

Dies sind nur einige Eigenschaften, die für eine Straffunktion von Interesse sein könnten.

Es ist viel einfacher, die Arbeit mit einer Summe in Ableitungen und theoretischer Arbeit: zB und | | β | | 1 = ∑ | β i | . Stellen Sie sich vor, wir hätten $||\beta||_2^2=\sum |\beta_i|^2$$||\beta||_1 = \sum |\beta_i|$ oder(∑|βi|)2. Die Einnahme von Derivaten (die notwendig sind, um theoretische Ergebnisse wie Konsistenz, asymptotische Normalität usw. zu zeigen) wäre ein Schmerz mit solchen Strafen.$\sqrt{\left(\sum |\beta_i|^2\right)}$$\left( \sum |\beta_i|\right)^2$

Tatsächlich stammen sowohl das Quadrat des -Norms als auch des ℓ 1 -Norms aus derselben Regularisierungsklasse: ‖ β ‖ p p, wenn p > 0 ist .$\ell_2$$\ell_1$$\|\boldsymbol{\beta}\|_p^p$$p > 0$

Die Ridge-Regression verwendet dann und das Lasso p = 1, aber man kann andere Werte von $p=2$$p=1$$p$ .

Zum Beispiel haben Sie eine spärliche Lösung für alle Werte von , und je kleiner der Wert von p ist, desto spärlicher ist die Lösung.$p \leq 1$$p$

Bei Werten von Ihr Ziel nicht mehr glatt, sodass die Optimierung schwieriger wird. für p < 1 ist das Ziel nicht konvex und daher ist die Optimierung noch schwieriger ...$p \leq 1$$p<1$

Ich glaube, dass es hier eine noch einfachere Antwort gibt, obwohl "Warum" -Fragen immer schwer zu beantworten sind, wenn eine Technik entwickelt wird. Die quadratische -Norm wird verwendet, so dass der Regularisierungsterm leicht differenzierbar ist. Die Ridge-Regression minimiert:$l_2$

$$\|\mathbf{y - X\beta}\|^2_2+\lambda\|\beta\|_2^2$$

$$\|\mathbf{y - X\beta}\|^2_2+\lambda\beta^T\beta$$

$\beta$

$$\hat\beta^{\text{ridge}} = (\mathbf{X}^T\mathbf{X} + \lambda I)^{-1}\mathbf{X}^T\mathbf{y}$$

woraus alle Arten von Schlussfolgerungen abgeleitet werden können.

Betrachten Sie einen weiteren wichtigen Unterschied zwischen der Verwendung des Quadrats von $\ell_2$ Norm (dh Gratregression) und die unveränderte $\ell_2$ Norm: die Ableitung der $\ell_2$ Norm von $x$, $||x||_2$, beim $x$ ist gegeben durch $\frac{x}{ ||x||_2}$ and therefore not differentiable at the zero vector. That is, although the $\ell_2$ norm does not do individual variable selection like the lasso, it could theoretically yield $\beta=0$ as the solution to the maximum penalized likelihood. By squaring the $\ell_2$ norm in the penalty, the ridge-type penalty is differentiable everywhere and can never yield such a solution.

This behavior is exactly (by my understanding) why the group lasso (Yuan and Lin) and the sparse group lasso (Simon, et al.), etc, use the $\ell_2$ norm (on prespecified subsets of the coefficients) instead of the square of the $\ell_2$ norm.