ob Indikator / Binär / Dummy-Prädiktoren für LASSO neu skaliert werden sollen

Für das LASSO (und andere Modellauswahlverfahren) ist es entscheidend, die Prädiktoren neu zu skalieren. Die allgemeine Empfehlung, der ich folge, ist einfach, eine Normierung mit 0 Mittelwerten und 1 Standardabweichung für kontinuierliche Variablen zu verwenden. Aber was gibt es mit Dummies zu tun?

ZB einige angewandte Beispiele aus derselben (ausgezeichneten) Sommerschule, die ich verlinkt habe, skalieren stetige Variablen neu auf 0 bis 1 (allerdings nicht großartig bei Ausreißern), wahrscheinlich um mit den Dummies vergleichbar zu sein. Aber auch das garantiert nicht, dass die Koeffizienten in der gleichen Größenordnung liegen sollten, und bestraft damit in ähnlicher Weise den Hauptgrund für eine Neuskalierung, oder?

Laut Tibshirani ( DIE LASSO-METHODE ZUR VARIABLEN AUSWAHL IM COX-MODELL, Statistics in Medicine, Bd. 16, S. 385-395 (1997) ), der das Buch über Regularisierungsmethoden buchstäblich verfasst hat, sollten Sie die Dummies standardisieren. Sie verlieren dann jedoch die einfache Interpretierbarkeit Ihrer Koeffizienten. Wenn Sie dies nicht tun, befinden sich Ihre Variablen nicht auf einem ausgeglichenen Spielfeld. Sie geben im Wesentlichen den Ausschlag für Ihre stetigen Variablen (höchstwahrscheinlich). Wenn Ihr primäres Ziel also die Modellauswahl ist, ist dies ein ungeheurer Fehler. Wenn Sie sich jedoch mehr für Dolmetschen interessieren, ist dies möglicherweise nicht die beste Idee.

Die Empfehlung finden Sie auf Seite 394:

Die Lasso-Methode erfordert eine anfängliche Standardisierung der Regressoren, damit das Strafschema allen Regressoren gerecht wird. Für kategoriale Regressoren codiert man den Regressor mit Dummy-Variablen und standardisiert dann die Dummy-Variablen. Wie ein Schiedsrichter jedoch betont, kann die relative Skalierung zwischen kontinuierlichen und kategorialen Variablen in diesem Schema etwas willkürlich sein.

Sehenswert ist auch der Blog-Beitrag von Andrew Gelman, wann man Regressionseingaben standardisieren und wann man sie in Ruhe lässt. Dieser Teil ist insbesondere relevant:

Zum Vergleichen von Koeffizienten für verschiedene Prädiktoren innerhalb eines Modells erhält die Standardisierung das Nicken. (Obwohl ich binäre Eingaben nicht standardisiere. Ich codiere sie als 0/1 und standardisiere dann alle anderen numerischen Eingaben, indem ich durch zwei Standardabweichungen dividiere, wodurch sie ungefähr auf der gleichen Skala liegen wie 0/1-Variablen.)

Dies ist eher ein Kommentar, aber zu lang. Eine der am häufigsten verwendeten Software für Lasso (und Freunde) ist R's glmnet. Auf der Hilfeseite gedruckt von ?glmnet:

standardize: Logisches Flag für die Standardisierung von x-Variablen vor dem Anpassen der Modellsequenz. Die Koeffizienten werden immer auf der ursprünglichen Skala zurückgegeben. Standard ist 'standardize = TRUE'. Wenn sich die Variablen bereits in denselben Einheiten befinden, möchten Sie möglicherweise nicht standardisieren. Einzelheiten zur Standardisierung mit 'family = "gaussian"' finden Sie weiter unten.

$X$