Die Wichtigkeit von Features beim Lernen mit dem Scikit Random Forest zeigt eine sehr hohe Standardabweichung

Ich verwende den Random Forest Classifier von scikit-learn und möchte die Wichtigkeit von Features wie in diesem Beispiel darstellen .

Mein Ergebnis ist jedoch völlig anders, in dem Sinne, dass die Standardabweichung der Merkmalsbedeutung fast immer größer ist als die Merkmalsbedeutung selbst (siehe beigefügtes Bild).

Kann man sich so verhalten, oder mache ich Fehler beim Plotten?

Mein Code ist der folgende:

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier

clf = RandomForestClassifier()
clf.fit(predictors.values, outcome.values.ravel())

importance = clf.feature_importances_
importance = pd.DataFrame(importance, index=predictors.columns, 
                          columns=["Importance"])

importance["Std"] = np.std([tree.feature_importances_
                            for tree in clf.estimators_], axis=0)

x = range(importance.shape[0])
y = importance.ix[:, 0]
yerr = importance.ix[:, 1]

plt.bar(x, y, yerr=yerr, align="center")

plt.show()

Sie verwenden RandomForest mit der Standardanzahl von Bäumen (10). Für etwa 30 Features ist dies zu wenig. Daher ist die Standardabweichung groß. Versuchen Sie es mit mindestens 100 oder sogar 1000 Bäumen

clf = RandomForestClassifier(n_estimators=1000)

Für eine genauere Analyse können Sie auch überprüfen, wie stark die Korrelation zwischen Ihren Features ist.

Ihr Ergebnis ist nicht so seltsam. Wie Lanenok feststellt , sollten Sie in einem ersten Schritt die Anzahl der Bäume erhöhen, um sicherzustellen, dass Sie ein "statistisches" Ergebnis bezüglich der Wichtigkeit von Merkmalen erhalten.

Da dieses Papier von Genuer et al. (2010) zeigt, dass Sie die Standardabweichungen tatsächlich verwenden können, um Features zu eliminieren. Um es zu zitieren: " Wir können sehen, dass die Standardabweichung der wahren Variablen groß ist im Vergleich zu den verrauschten Variablen eins, die nahe bei Null liegen. "

Versuchen Sie es clf = RandomForestClassifier(max_features=None). Der max_featuresStandardwert für 'auto'den Parameter ist äquivalent zu sqrt(n_features). max_featureswird als "Die Anzahl der Features, die bei der Suche nach der besten Aufteilung berücksichtigt werden müssen" beschrieben. Wenn Sie nur eine kleine Anzahl von Merkmalen an einem Punkt im Entscheidungsbaum betrachten, kann die Wichtigkeit eines einzelnen Merkmals über viele Baume hinweg stark variieren. Schauen Sie sich also keine zufällige Teilmenge an, sondern alle Features auf allen Ebenen des Baums.

Ein häufiger Grund dafür ist, dass die von Ihnen angegebenen (oder standardmäßig festgelegten) Parameter RandomForestClassifiernicht für Ihr Dataset geeignet sind.

Eine gebräuchliche Methode, um dieses Problem zu lösen, besteht darin, den Hyperparameterraum zu durchsuchen, indem Sie beispielsweise Folgendes verwenden GridSearchCV:

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import accuracy_score, make_scorer

param_grid = {'n_estimators': [10, 100, 1000], 'max_features': [5, 10, 20, 30]}
clf = GridSearchCV(RandomForestClassifier(), param_grid, cv=5, scoring=make_scorer(accuracy_score))

param_grid Hier sind die Permutationen der Parameter, in denen Sie suchen möchten, und die make_scorer(accuracy_score) die Kennzahl, die Sie optimieren möchten.

Beachten Sie, dass dies accuracy_scorefür ausgeglichene Sets geeignet ist, jedoch nicht für unsymmetrische Sets. Wählen Sie eine geeignete Metrik für Ihr spezielles Ziel.

Dafür kann es mehrere Gründe geben. Die Anzahl der Bäume und die Tiefe können Ihre Ergebnisse verändern. Wenn Ihr Modell nach der Auswahl der Parameter (Kreuzvalidierung usw.) keine gute Leistung erbringt, liegt dies wahrscheinlich daran, dass Ihre Features nicht sehr aussagekräftig sind und daher fast "zufällig" ausgewählt werden, was zu hohen Standardabweichungen von Baum zu Baum führt. Es gibt aber auch andere Möglichkeiten, z. B. kann es auch sein, dass Ihre Funktionen stark korrelieren. Ein bisschen mehr Information wäre hilfreich.