Wann korrelierte Variablen entfernt werden sollen

Kann jemand bitte vorschlagen, was der richtige Schritt ist, um korrelierte Variablen vor dem Feature-Engineering oder nach dem Feature-Engineering zu entfernen?

Sie möchten nicht alle korrelierten Variablen entfernen. Nur wenn die Korrelation so stark ist, vermitteln sie keine zusätzlichen Informationen. Dies hängt sowohl von der Stärke der Korrelation ab, davon, wie viele Daten Sie haben, als auch davon, ob ein kleiner Unterschied zwischen korrelierten Variablen etwas über das Ergebnis aussagt.

Die ersten beiden können Sie erkennen, bevor Sie ein Modell erstellen, die letzten nicht. Daher kann es sehr vernünftig sein, Variablen basierend auf der Kombination der ersten beiden Überlegungen zu entfernen (dh selbst wenn die zusätzlichen Variablen im Prinzip einige nützliche Informationen enthalten, können Sie angesichts der Stärke der Korrelation und der Datenmenge nicht feststellen, ob sie vorhanden sind Sie haben), bevor Sie ein Modellierungs- / Feature-Engineering durchführen. Der letzte Punkt kann wirklich erst nach einer Modellierung beurteilt werden.

Seltsam, dass sonst niemand die Interpretierbarkeit erwähnte .

Wenn Sie sich nur mit der Leistung befassen , ist es nicht sinnvoll, zwei korrelierte Variablen zu entfernen, es sei denn, Korrelation = 1 oder -1. In diesem Fall ist eine der Variablen redundant.

Wenn Sie sich jedoch Gedanken über die Interpretierbarkeit machen, ist es möglicherweise sinnvoll, eine der Variablen zu entfernen, auch wenn die Korrelation gering ist. Dies gilt insbesondere für lineare Modelle. Eine der Annahmen der linearen Regression ist das Fehlen einer perfekten Multikollinearität in den Prädiktoren.

Wenn A mit B korreliert ist, können Sie weder die Koeffizienten von A noch von B interpretieren. Um zu sehen, warum, stellen Sie sich den Extremfall vor, wenn A = B (perfekte Korrelation). Dann ist das Modell y = 100 * A + 50 * B dasselbe wie das Modell y = 5 * A + 10 * B oder y = -2000 * A + 4000 * B. Es gibt mehrere Gleichgewichte in den möglichen Lösungen für das Minimierungsproblem der kleinsten Quadrate, daher können Sie auch keinem "vertrauen".

Ähnliches kann bei anderen Modellen passieren. Wenn beispielsweise A sehr stark mit B korreliert ist und der Entscheidungsbaum A doppelt so oft wie B wählt, können Sie nicht sagen, dass A wichtiger ist als B. Wenn Sie das Modell neu trainieren, könnte das Gegenteil geschehen sein.

Sie sollten VIF (Varianzinflationsfaktor) überprüfen . Versuchen Sie, Funktionen mit höherem VIF zu entfernen. Im Allgemeinen ist es bevorzugt, dass VIF unter 10 liegt.

Es spielt keine Rolle. Aber für die Effizienz vor dem Feature Engineering.

Bestimmen Sie die Kovarianz und erledigen Sie Ihre erste Arbeit mit der höchsten Menge.