Warum alle Parameter auf die gleiche Weise regulieren?

Meine Frage bezieht sich auf die Regularisierung in der linearen Regression und der logistischen Regression. Ich mache gerade Woche 3 von Andrew Ngs Kurs über maschinelles Lernen auf Coursera. Ich verstehe, wie Überanpassung ein häufiges Problem sein kann, und ich habe eine gewisse Intuition dafür, wie Regularisierung Überanpassung reduzieren kann. Meine Frage ist, können wir unsere Modelle verbessern, indem wir verschiedene Parameter auf unterschiedliche Weise regulieren?

Beispiel:

Nehmen wir an, wir versuchen zu passen $w_0 + w_1 x_1 + w_2 x_2 + w_3 x_3 + w_4 x_4$. Diese Frage ist, warum wir für hohe bestrafen$w_1$ Werte auf die gleiche Weise, die für hohe bestrafen $w_2$ Werte.

Wenn wir nichts über unsere Funktionen wissen $(x_1,x_2,x_3,x_4)$ konstruiert wurden, ist es sinnvoll, sie alle gleich zu behandeln, wenn wir regulieren: ein Hoch $w_1$ Wert sollte so viel "Strafe" wie ein Hoch ergeben $w_3$ Wert.

Angenommen, wir haben zusätzliche Informationen: Nehmen wir an, wir hatten ursprünglich nur zwei Funktionen: $x_1$ und $x_2$. Eine Linie passte nicht zu unserem Trainingsset und wir wollten eine schnörkellosere Entscheidungsgrenze, also konstruierten wir$x_3 = x_1^2$ und $x_4 = x_2^3$. Jetzt können wir komplexere Modelle haben, aber je komplexer sie werden, desto größer ist das Risiko, dass wir unser Modell an die Trainingsdaten anpassen. Wir wollen also ein Gleichgewicht zwischen der Minimierung der Kostenfunktion und der Minimierung unserer Modellkomplexität finden. Nun, die Parameter, die höhere Exponentiale darstellen ($x_3$, $x_4$) erhöhen die Komplexität unseres Modells drastisch. Also sollten wir nicht mehr für High bestrafen$w_3$, $w_4$ Werte, als wir für hohe bestrafen $w_1,w_2$ Werte?

Nun, die Parameter, die höhere Exponentiale darstellen (x3, x4), erhöhen die Komplexität unseres Modells drastisch. Sollten wir also nicht mehr für hohe w3, w4-Werte bestrafen als für hohe w1, w2-Werte?

Der Grund, warum wir sagen, dass das Hinzufügen von quadratischen oder kubischen Termen die Komplexität des Modells erhöht, ist, dass es zu einem Modell mit insgesamt mehr Parametern führt. Wir erwarten nicht, dass ein quadratischer Term an und für sich komplexer ist als ein linearer Term. Klar ist, dass ein Modell mit mehr Kovariaten bei sonst gleichen Bedingungen komplexer ist.

Zum Zwecke der Regularisierung werden im Allgemeinen alle Kovariaten neu skaliert, um den gleichen Mittelwert und die gleiche Varianz zu haben, so dass sie a priori als gleich wichtig behandelt werden. Wenn einige Kovariaten tatsächlich eine stärkere Beziehung zur abhängigen Variablen haben als andere, wird das Regularisierungsverfahren diese Kovariaten natürlich nicht so stark benachteiligen, da sie einen größeren Beitrag zur Modellanpassung leisten.

Aber was ist, wenn Sie wirklich a priori denken, dass eine Kovariate wichtiger ist als eine andere, und Sie diesen Glauben quantifizieren können und möchten, dass das Modell ihn widerspiegelt? Dann möchten Sie wahrscheinlich ein Bayes'sches Modell verwenden und die Prioritäten für die Koeffizienten anpassen, um sie an Ihre bereits bestehende Überzeugung anzupassen. Nicht zufällig können einige bekannte Regularisierungsverfahren als Sonderfälle von Bayes'schen Modellen ausgelegt werden. Insbesondere entspricht die Gratregression einem normalen Prior der Koeffizienten, und die Lasso-Regression entspricht einem Laplace-Prior.

Tolle Beobachtungen. Um Ihre Frage zu beantworten: "Sollten wir 'mehr' bestrafen?" Gewinnen wir etwas, wenn wir einigen Variablen eine A-priori-Strafe auferlegen?

In der Praxis machen wir das Gegenteil. Denken Sie daran, die Eingangsvariablen auf dieselbe Größe neu zu skalieren. Unterschiedliche Größen verleihen einigen Variablen von vornherein unterschiedliche "Bedeutung". Wir wissen nicht, welche wichtig sind und welche nicht. Es gibt eine ganze Reihe von Forschungsarbeiten zum Finden der richtigen "Features" oder zum Lernen von Feature-Auswahl / Repräsentation.

Hier sind zwei Möglichkeiten, darüber nachzudenken.

Man könnte mit einer einfachen linearen Basishypothese und keiner Regularisierung beginnen. Dann haben Sie eine andere Hypothese des Modells, indem Sie quadratische und andere Wechselwirkungen des Eingaberaums nehmen. Sicher. Fügen Sie dann Regularisierung hinzu und so weiter. Diese 'Suche' ist also einfach bis komplex. Eher eine parametrische Methode, da Sie die Hypothesen über die Basis erstellen.

Oder ein alternativer „nicht parametrischer“ Weg wäre, mit einer wirklich komplexen Hypothese zu beginnen und die Regularisierung die Arbeit erledigen zu lassen (z. B. die Komplexität zu bestrafen und zu etwas Einfacherem zu gelangen), indem sie sich gegenseitig validiert.

Der Punkt der Regularisierung und Nichtparametrik besteht darin, die Dinge automatisch zu erledigen. Lassen Sie die Maschine die Arbeit machen.

Hier ist eine gute Ressource für Basisfunktionen.

Und schlussendlich, $L^p$Räume und Normen werden die Dinge noch mehr aufklären.