Standardisierung vs. Normalisierung für Lasso / Ridge-Regression

Ich bin mir bewusst, dass es gängige Praxis ist, die Merkmale für die Ridge- und Lasso-Regression zu standardisieren. Wäre es jedoch jemals praktischer, die Merkmale auf einer (0,1) -Skala als Alternative zur Z-Score-Standardisierung für diese Regressionsmethoden zu normalisieren?

normalization lasso standardization ridge-regression Steve
quelle

Antworten:

Wenn Sie die Normalisierung anwenden ([0,1] einpressen), haben Sie ein Maß für die relative Variablenbedeutung, aber es ändert den Maßstab Ihrer Variablen und Sie verlieren jegliche Interpretierbarkeit des Modells. Der Vorteil der Standardisierung ist , dass Sie immer noch das Modell interpretieren können , wie man sich mit unregularised OLS Regression (dies wurde bereits schon beantwortet hier ).

Digio
quelle

Das regulierte Modell verhält sich mit oder ohne Normalisierung sehr unterschiedlich !! Insbesondere wenn wir Features nicht normieren, werden wir unterschiedliche Strafen für verschiedene Features haben!

Haitao Du

Ich habe speziell über die Interpretation des Lasso-Koeffizienten gesprochen , nicht über die Schätzung. Angesichts der Tatsache, dass sich die Schätzungen ändern würden, wäre ich gespannt, wie sich die Modellinterpretation ändern würde.

Digio

Es scheint mir nicht, dass die Frage, auf die Sie in Ihrer Antwort verweisen, den Punkt unterstützt, den Sie machen. Könnten Sie in Ihrem ursprünglichen Beitrag genauer erläutern, warum die Interpretation der ols-Koeffizienten nur dann mit den Lasso-Koeffizienten übereinstimmt, wenn die Merkmale standardisiert sind? Vielen Dank!

user795305

@ Ben, du hast meine Antwort falsch verstanden (meine Schuld vielleicht). Die Antwort, die ich verlinkt habe, erklärt, wie Modellkoeffizienten im Lasso und in der einfachen Regression (OLS oder anders) auf die gleiche Weise interpretiert werden - unter allen Umständen (standardisiert oder nicht). Bei der Normalisierung (bei jedem Typ oder bei jeder parametrischen Regression) verlieren Sie die ursprüngliche Skala und können die Koeffizienten nicht ohne Rücktransformation interpretieren. Mit der Standardisierung interpretieren Sie das Modell auf normale Weise.

Digio

Die Normalisierung ist für Methoden mit Regularisierung sehr wichtig. Dies liegt daran, dass die Skalierung der Variablen Einfluss darauf hat, wie stark die Regularisierung auf bestimmte Variablen angewendet wird.

Angenommen, eine Variable hat einen sehr großen Maßstab, beispielsweise eine Größenordnung von Millionen, und eine andere Variable liegt zwischen 0 und 1. Dann können wir davon ausgehen, dass die Regularisierung nur geringe Auswirkungen auf die erste Variable hat.

Während wir die Normalisierung durchführen, ist es nicht so wichtig, sie auf 0 zu 1 zu normalisieren oder die Funktionen zu standardisieren.

Haitao Du
quelle

Diese Antwort besagt das Offensichtliche. Mit "Normalisierung" ist hier das Zusammendrücken aller Werte in [0,1] gemeint, es ist nicht nur ein anderes Wort für Standardisierung. Die Frage betrifft die Auswirkungen der Normalisierung in [0,1] gegenüber der Standardisierung ~ N (0,1) auf die Modellkoeffizienten.

Digio

Was bedeutet es, auf [0,1] zu normalisieren? Es gibt viele Möglichkeiten, dies zu erreichen. Was genau empfehlen Sie für eine bestrafte Regression?

Cagdas Ozgenc

Da die Frage Staaten Skala „die Eigenschaften auf (0,1) zu normalisieren“, vielleicht allerdings verfügen rescaling ein besserer Begriff ist, ist eine allgemeine Technik zu produzieren Koeffizientenschätzungen , die relativ variable Bedeutung (ähnlich RF die Reinheit Maßnahme) exprimieren. Ja, es gibt viele Möglichkeiten, dies zu erreichen, und es ist nicht spezifisch für die bestrafte Regression, aber diese Frage bezieht sich auf die Auswirkung der Neuskalierung von Merkmalen (nicht der Standardisierung) auf Lasso.

Digio

Was meinst du mit "Normalisieren auf 0 zu 1 oder Standardisieren der Funktionen spielt keine Rolle"? Inwiefern spielt es keine Rolle? Könnten Sie eine Intuition oder Referenzen für diese Behauptung angeben?

user795305