Geometrische Interpretation der bestraften linearen Regression

Ich weiß, dass lineare Regression als "die Linie gedacht werden kann, die allen Punkten vertikal am nächsten ist" :

Es gibt aber auch eine andere Möglichkeit, den Spaltenraum als "Projektion auf den Raum, der von den Spalten der Koeffizientenmatrix aufgespannt wird" zu visualisieren :

Meine Frage ist: Was passiert in diesen beiden Interpretationen, wenn wir die benachteiligte lineare Regression wie die Kammregression und LASSO verwenden ? Was passiert mit der Zeile in der ersten Interpretation? Und was passiert mit der Projektion in der zweiten Interpretation?

UPDATE: @JohnSmith hat in den Kommentaren darauf hingewiesen, dass die Strafe im Raum der Koeffizienten auftritt. Gibt es auch in diesem Raum eine Interpretation?

Entschuldigen Sie meine Malfähigkeiten, ich werde versuchen, Ihnen die folgende Intuition zu geben.

$f(\beta)$$\beta$$\beta_1$$\beta_2$

Es gibt ein Minimum dieser Funktion in der Mitte der roten Kreise. Und dieses Minimum gibt uns die nicht bestrafte Lösung.

$g(\beta)$$g(\beta) = \lambda (|\beta_1| + |\beta_2|)$$g(\beta) = \lambda (\beta_1^2 + \beta_2^2)$$\lambda$$\lambda$$g(x)$

$f(\beta) + g(\beta)$

Je größer die Strafe, desto "enger" die blauen Konturen, und dann treffen sich die Diagramme in einem Punkt, der näher bei Null liegt. Umgekehrt gilt: Je kleiner die Strafe, desto größer werden die Konturen, und der Schnittpunkt von blauen und roten Linien kommt näher an die Mitte des roten Kreises heran (nicht bestrafte Lösung).

$\beta_1 = 0$$\beta_2 = 0$

$0$

Hoffe, das erklärt ein wenig die Intuition darüber, wie eine bestrafte Regression im Bereich der Parameter funktioniert.

Die Intuition, die ich habe, ist die folgende: Im Fall der kleinsten Quadrate ist die Hutmatrix eine orthogonale Projektion, die somit idempotent ist. Im bestraften Fall ist die Hutmatrix nicht mehr idempotent. Tatsächlich werden die Koeffizienten auf den Ursprung verkleinert, wenn sie unendlich oft angewendet werden. Andererseits müssen die Koeffizienten immer noch in der Spanne der Prädiktoren liegen, so dass es sich immer noch um eine Projektion handelt, wenn auch nicht orthogonal. Die Höhe des Bestrafungsfaktors und die Art der Norm bestimmen den Abstand und die Richtung der Schrumpfung zum Ursprung.