Logistische Regression - Multikollinearitätsprobleme / Fallstricke

16

Muss bei der logistischen Regression die Multikollinearität genauso berücksichtigt werden wie bei der direkten OLS-Regression?

Müssen Sie beispielsweise bei einer logistischen Regression, bei der Multikollinearität vorliegt, vorsichtig sein (wie bei einer OLS-Regression), wenn Sie Rückschlüsse auf die Beta-Koeffizienten ziehen?

Bei der OLS-Regression ist die Kammregression ein "Fix" für eine hohe Multikollinearität. Gibt es so etwas für die logistische Regression? Löschen von Variablen oder Kombinieren von Variablen.

Welche Ansätze sind sinnvoll, um die Auswirkungen von Multikollinearität in einer logistischen Regression zu reduzieren? Sind sie im Wesentlichen die gleichen wie OLS?

(Hinweis: Dies ist nicht für den Zweck eines geplanten Experiments gedacht.)

Brandon Bertelsen
quelle

Antworten:

16

Für die logistische Regression gelten dieselben Prinzipien hinsichtlich der Multikollinearität wie für die OLS. Dieselbe Diagnostik zur Bewertung der Multikollinearität kann verwendet werden (z. B. VIF, Bedingungsnummer, Hilfsregressionen) und dieselben Techniken zur Dimensionsreduktion können verwendet werden (z. B. das Kombinieren von Variablen über die Hauptkomponentenanalyse).

Diese Antwort von chl führt Sie zu einigen Ressourcen und R-Paketen für die Anpassung von bestraften Logistikmodellen (sowie zu einer guten Diskussion über diese Arten von bestraften Regressionsverfahren). Aber einige Ihrer Kommentare zu "Lösungen" für Multikollinearität beunruhigen mich ein wenig. Wenn Sie nur Beziehungen für Variablen schätzen möchten, die nicht kollinear sind, sind diese "Lösungen" vielleicht in Ordnung. Wenn Sie jedoch Koeffizienten von Variablen schätzen möchten, die kollinear sind, lösen diese Techniken Ihr Problem nicht. Obwohl das Problem der Multikollinearität insofern technisch ist, als Ihre Matrix von Prädiktorvariablen nicht invertiert werden kann, hat es ein logisches Analogon, als Ihre Prädiktoren nicht unabhängig sind und ihre Auswirkungen nicht eindeutig identifiziert werden können.

Andy W
quelle
2
(+1) Ja, es gibt einige bestrafte Versionen der logistischen Regression (oder allgemeiner GLMs), siehe dort einige Referenzen: stats.stackexchange.com/questions/4272/… .
Chl
@chl, danke. Ich habe aktualisiert, um auf Ihre vorherige Antwort zu verlinken.
Andy W
Danke auch. Dies war nur ein Kommentar zu Ihrer bereits ausgezeichneten Antwort.
Chl