Wie kann man schnell wichtige Variablen aus einem sehr großen Datensatz auswählen?

Ich habe einen Datensatz mit ungefähr 2.000 binären Variablen / 200.000 Zeilen und versuche, eine einzelne binär abhängige Variable vorherzusagen. Mein Hauptziel in dieser Phase ist nicht die Genauigkeit der Vorhersage, sondern die Identifizierung, welche dieser Variablen wichtige Prädiktoren sind. Ich möchte die Anzahl der Variablen in meinem endgültigen Modell auf ungefähr 100 reduzieren.

Gibt es einen relativ schnellen Weg, um die wichtigsten Variablen zu erhalten? randomForest scheint lange zu dauern.

Ich muss nicht alle 200.000 Beobachtungen verwenden, daher ist eine Stichprobe eine Option auf dem Tisch.

Sie können mit einem einfachen univariaten Filter beginnen und mithilfe der Kreuzvalidierung entscheiden, welche Variablen beibehalten werden sollen. Die sbfFunktion im caretPaket für R ist wirklich nützlich. Weitere Informationen finden Sie hier ab Seite 19.

Dies klingt nach einem geeigneten Problem für Lasso und Freunde, die schrumpfen und Variablen auswählen. Die Elemente des statistischen Lernens beschreiben Lasso und elastisches Netz für die Regression und, was für dieses Problem relevanter ist, die logistische Regression.

Die Autoren des Buches haben eine effiziente Implementierung von Lasso und elastischem Netz als R-Paket namens glmnet verfügbar gemacht . Ich habe dieses Paket zuvor für die binäre Datenanalyse mit Datenmatrizen von ungefähr 250.000 Zeilen verwendet, obwohl etwas weniger Spalten, aber tatsächlich Regressionen aller Spalten gegen alle anderen Spalten ausgeführt werden. Wenn die Datenmatrix auch spärlich ist, kann die Implementierung dies ebenfalls nutzen, und ich glaube, dass die Methode tatsächlich für den vollständigen OP-Datensatz funktionieren kann. Hier einige Kommentare zu Lasso:

• $\ell_1$
• Die Auswahl des Abstimmungsparameters erfolgt häufig durch Kreuzvalidierung, aber auch ohne den Kreuzvalidierungsschritt kann das Verfahren möglicherweise eine gute Folge ausgewählter Variablen liefern, die durch den Strafparameter indiziert werden.
• Der Nachteil bei der Variablenauswahl ist, dass Lasso bei der Auswahl von Variablen instabil sein kann, insbesondere wenn sie etwas korreliert sind. Die allgemeinere elastische Nettostrafe wurde erfunden, um diese Instabilität zu verbessern, löst das Problem jedoch nicht vollständig. Adaptives Lasso ist eine weitere Idee, um die Variablenauswahl für Lasso zu verbessern.
• Die Stabilitätsauswahl ist eine allgemeine Methode, die von Meinshausen und Bühlmann vorgeschlagen wurde, um mit Methoden wie Lasso eine größere Stabilität der ausgewählten Variablen zu erreichen. Es erfordert eine Reihe von Anpassungen an Teilproben des Datensatzes und ist daher viel rechenintensiver.
• Eine vernünftige Denkweise für Lasso ist die Methode zur Erzeugung eines eindimensionalen Satzes von "guten" Modellen, die von einem Modell mit einer Variablen bis zu einem komplizierteren Modell (das nicht unbedingt alle Variablen umfasst) reicht und durch den Strafparameter parametrisiert wird. Im Gegensatz dazu erzeugen univariate Filter nur eine Auswahl oder Reihenfolge guter Modelle mit einer einzelnen Variablen.

Für Python gibt es eine Implementierung in Scikit-Learn von Methoden wie Lasso und elastischem Netz.

Sie können für jede Variable einen logistischen Regressions- / Chi-Quadrat-Assoziationstest durchführen und nur diejenigen beibehalten, deren p-Wert unter einem bestimmten Wert liegt, z. B. .2.