Wir haben viele gute Diskussionen über die perfekte Trennung in der logistischen Regression. So führte die logistische Regression in R zu einer perfekten Trennung (Hauck-Donner-Phänomen). Was jetzt? Das logistische Regressionsmodell konvergiert nicht .
Ich persönlich glaube immer noch, dass es nicht intuitiv ist, warum es ein Problem sein wird und warum das Hinzufügen von Regularisierung es beheben wird. Ich habe ein paar Animationen gemacht und denke, das wird hilfreich sein. Also poste seine Frage und beantworte sie von mir selbst, um sie mit der Community zu teilen.
Antworten:
Anhand einer 2D-Demo mit Spielzeugdaten wird erklärt, was bei der logistischen Regression mit und ohne Regularisierung für eine perfekte Trennung vor sich ging. Die Experimente begannen mit einem überlappenden Datensatz und wir trennten nach und nach zwei Klassen. Die objektive Funktionskontur und die Optima (logistischer Verlust) werden in der rechten Unterabbildung gezeigt. Die Daten und die lineare Entscheidungsgrenze sind in der linken Unterabbildung aufgetragen.
Zuerst versuchen wir die logistische Regression ohne Regularisierung.
Als nächstes versuchen wir die logistische Regression mit L2-Regularisierung (L1 ist ähnlich).
Bei der gleichen Konfiguration ändert das Hinzufügen einer sehr kleinen L2-Regularisierung die Änderungen der Zielfunktion in Bezug auf die Trennung der Daten.
In diesem Fall haben wir immer das "konvexe" Ziel. Egal wie stark die Daten voneinander getrennt sind.
Code (Ich verwende denselben Code auch für diese Antwort: Regularisierungsmethoden für die logistische Regression )
quelle