Warum bestraft die Regularisierung in der linearen Regression auch die Parameterwerte?

Ich lernte gerade die Gratregression und war etwas verwirrt über die Bestrafung komplexerer Modelle (oder die Definition eines komplexeren Modells).

Soweit ich weiß, korreliert die Komplexität des Modells nicht unbedingt mit der Polynomordnung. Also: ist ein komplexeres Modell als:

Und ich weiß, dass der Punkt der Regularisierung darin besteht, die Modellkomplexität niedrig zu halten. wir zum Beispiel an, wir haben ein Polynom 5. Ordnung

Je mehr Parameter 0 sind, desto besser.

Was ich aber nicht verstehe ist, wenn es das gleiche Ordnungspolynom war, warum werden niedrigere Parameterwerte weniger bestraft? Warum also:

Vielen Dank!

Die Parameterwerte hängen einfach von den Daten ab

Dies ist der Schlüsselteil Ihrer Frage. Hier sind Sie verwirrt.

Ja, die Parameterwerte hängen von den Daten ab. Die Daten werden jedoch festgelegt, wenn wir ein Modell anpassen. Mit anderen Worten, wir passen ein Modell an, das von den Beobachtungen abhängig ist . Es ist nicht sinnvoll, die Komplexität verschiedener Modelle zu vergleichen , die an verschiedene Datensätze angepasst wurden .

Und im Kontext eines festen Datensatzes ein Modell

ist in der Tat näher an dem einfachsten Modell, nämlich dem Flat-Zero-Modell, als

und dies gilt unabhängig vom Umfang Ihrer Beobachtungen.

Im Übrigen wird der Achsenabschnitt ( und in Ihrem Beispiel) häufig nicht bestraft, z. B. in den meisten Lasso-Formulierungen, da wir ihn normalerweise gut variieren lassen können, um den Gesamtdurchschnitt der Beobachtungen zu erfassen. Mit anderen Worten, wir verkleinern das Modell in Richtung des Durchschnitts der Beobachtungen, nicht in Richtung eines vollständigen Nullmodells (wobei die Null oft willkürlich ist). In diesem Sinne würden ein Flat und ein Flat Modell als gleich komplex angesehen.$2$$433$$2$$433$