Ich habe fünf Textdateien, die ich in einen CountVectorizer eingebe. Was bedeutet die minimale / maximale Dokumenthäufigkeit genau, wenn Sie der CountVectorizer-Instanz min_df und max_df angeben? Ist es die Häufigkeit eines Wortes in seiner bestimmten Textdatei oder ist es die Häufigkeit des Wortes im gesamten Gesamtkorpus (5 txt-Dateien)?
Wie unterscheidet es sich, wenn min_df und max_df als Ganzzahlen oder als Gleitkommazahlen bereitgestellt werden?
Die Dokumentation scheint weder eine gründliche Erklärung noch ein Beispiel für die Verwendung von min_df und / oder max_df zu liefern. Könnte jemand eine Erklärung oder ein Beispiel geben, das min_df oder max_df demonstriert.
python
machine-learning
scikit-learn
nlp
Moeabdol
quelle
quelle
min_dfheißt es: "Begriffe ignorieren, deren Dokumenthäufigkeit strikt unter dem angegebenen Schwellenwert liegt." Eine Frequenz, die streng niedriger als die Standardeinstellung von 1 ist, würde bedeuten, Begriffe zu ignorieren, die niemals erscheinen (!), Aber Begriffe beizubehalten, die einmal erscheinen.min_dfund falschmax_df. Ich habe eine Antwort hinzugefügt, die genau erklärt, wie diese Parameter von CountVectorizer interpretiert werden.Ich würde diesen Punkt auch zum Verständnis
min_dfundmax_dfin tf-idf besser hinzufügen.Wenn Sie die Standardwerte verwenden, dh alle Begriffe berücksichtigen, haben Sie definitiv mehr Token generiert. Daher dauert Ihr Clustering-Prozess (oder alles andere, was Sie später mit diesen Begriffen tun möchten) länger.
ABER die Qualität Ihres Clusters sollte NICHT verringert werden.
Man könnte denken, dass das Vorhandensein aller Begriffe (z. B. zu häufige Begriffe oder Stoppwörter) die Qualität beeinträchtigen könnte, in tf-idf jedoch nicht. Weil die tf-idf-Messung diesen Begriffen instinktiv eine niedrige Punktzahl verleiht, wodurch sie effektiv keinen Einfluss haben (wie sie in vielen Dokumenten vorkommen).
Zusammenfassend lässt sich sagen, dass das Beschneiden der Begriffe über
min_dfundmax_dfdie Leistung verbessert und nicht die Qualität von Clustern (als Beispiel).Und der entscheidende Punkt ist , dass wenn Sie den Satz
minundmaxfälschlicherweise, würden Sie einige wichtige Begriffe verlieren und damit die Qualität senken. Also , wenn Sie sich nicht sicher über die richtige Schwelle sind (es hängt von Ihren Dokumenten gesetzt), oder wenn Sie sicher sind , über Ihre Maschine Verarbeitungsfähigkeiten verlassen diemin,maxParameter unverändert.quelle
Die Standardeinstellungen für min_df und max_df sind 1 bzw. 1,0. Diese Standardeinstellungen bewirken überhaupt nichts.
Abgesehen davon glaube ich, dass die derzeit akzeptierte Antwort von @Ffisegydd nicht ganz richtig ist.
Führen Sie dies beispielsweise mit den Standardeinstellungen aus, um zu sehen, wann
min_df=1undmax_df=1.0dann1) Alle Token, die in mindestens einem Dokument enthalten sind, werden verwendet (z. B. alle Token!).
2) Alle Token, die in allen Dokumenten enthalten sind, werden verwendet (wir testen mit einem Kandidaten: überall).
cv = CountVectorizer(min_df=1, max_df=1.0, lowercase=True) # here is just a simple list of 3 documents. corpus = ['one two three everywhere', 'four five six everywhere', 'seven eight nine everywhere'] # below we call fit_transform on the corpus and get the feature names. X = cv.fit_transform(corpus) vocab = cv.get_feature_names() print vocab print X.toarray() print cv.stop_words_Wir bekommen:
[u'eight', u'everywhere', u'five', u'four', u'nine', u'one', u'seven', u'six', u'three', u'two'] [[0 1 0 0 0 1 0 0 1 1] [0 1 1 1 0 0 0 1 0 0] [1 1 0 0 1 0 1 0 0 0]] set([])Alle Token werden aufbewahrt. Es gibt keine Stoppwörter.
Weiteres Herumspielen mit den Argumenten verdeutlicht andere Konfigurationen.
Für Spaß und Einsicht würde ich auch empfehlen, damit herumzuspielen
stop_words = 'english'und zu sehen, dass besonders alle Wörter außer 'sieben' entfernt werden! Einschließlich "überall".quelle
Das Ziel von
MIN_DFist es, Wörter zu ignorieren, die nur sehr wenige Vorkommen haben, um als sinnvoll angesehen zu werden. In Ihrem Text können beispielsweise Namen von Personen enthalten sein, die möglicherweise nur in einem oder zwei Dokumenten enthalten sind. In einigen Anwendungen kann dies als Rauschen gelten und aus der weiteren Analyse ausgeschlossen werden. Ebenso können Sie Wörter ignorieren, die zu häufig vorkommenMAX_DF.Anstatt eine minimale / maximale Termhäufigkeit (Gesamt Vorkommen eines Wortes) mit Worten zu beseitigen,
MIN_DFundMAX_DFsehen , wie viele Dokumente einen Begriff enthalten ist , besser als Dokumenthäufigkeit bekannt. Die Schwellenwerte können ein absoluter Wert (z. B. 1, 2, 3, 4) oder ein Wert sein, der den Anteil der Dokumente darstellt (z. B. 0,25, dh Wörter ignorieren, die in 25% der Dokumente enthalten sind).Hier finden Sie einige Anwendungsbeispiele .
quelle