Wie werden Klassifikationen in einem Ensemble-Klassifikator zusammengeführt?

Wie verschmilzt ein Ensemble-Klassifikator die Vorhersagen seiner konstituierenden Klassifikatoren? Ich habe Schwierigkeiten, eine klare Beschreibung zu finden. In einigen Codebeispielen, die ich gefunden habe, mittelt das Ensemble nur die Vorhersagen, aber ich sehe nicht, wie dies zu einer "besseren" Gesamtgenauigkeit führen könnte.

Betrachten Sie den folgenden Fall. Ein Ensemble-Klassifikator besteht aus 10 Klassifikatoren. Ein Klassifikator hat eine Genauigkeit von 100% der Zeit in der Datenuntermenge X und 0% aller anderen Zeiten. Alle anderen Klassifizierer haben eine Genauigkeit von 0% in der Datenuntermenge X und 100% in allen anderen Zeiten.

Bei Verwendung einer Mittelungsformel, bei der die Genauigkeit des Klassifikators ignoriert wird, hätte der Ensemble-Klassifikator bestenfalls eine Genauigkeit von 50%. Ist das richtig oder fehlt mir etwas? Wie kann die durchschnittliche Vorhersage von N potenziell ahnungslosen Klassifikatoren möglicherweise zu einer besseren Vorhersage führen als ein einzelner Klassifikator, der ein Experte in einem bestimmten Bereich ist?

Ich habe ein klares Beispiel aus Introduction to Data Mining von Tan et al.

Das Beispiel besagt, dass Sie eine bessere Leistung erzielen, wenn Sie Ihre Klassifizierer mit einem Abstimmungssystem kombinieren, dh einen Datensatz mit der am meisten bewerteten Klasse klassifizieren. In diesem Beispiel wird jedoch direkt die Ausgabebezeichnung von Klassifizierern verwendet und nicht die Vorhersagen (ich denke, Sie haben Wahrscheinlichkeiten gemeint).

Lassen Sie uns 25 unabhängige Klassifikatoren mit dem Generalisierungsfehler . Um einen Datensatz falsch zu klassifizieren, muss mindestens die Hälfte von ihnen ihn falsch klassifizieren.$e = 1 - \mbox{accuracy} = 0.35$

Alles kann mit Zufallsvariablen modelliert werden, aber Sie müssen nur die Wahrscheinlichkeit berechnen, dass mindestens 13 von ihnen den Datensatz falsch klassifizieren wobei jeder Term der Summation bedeutet, dass der Klassifikator die Datensatzklasse korrekt und falsch versteht.i25-

Wenn ich direkte Vorhersagen verwende und als Kombinationsmethode einen Durchschnitt verwende, könnte es meiner Meinung nach etwas schwieriger sein, die Verbesserung der Ensemble-Performance zu zeigen. Wenn man sich jedoch nur auf Vorhersagen konzentriert und sich nicht um das Ausgabeetikett des Ensembles kümmert, kann die Mittelung von mehr Vorhersagen als Schätzer der realen Wahrscheinlichkeit angesehen werden. Das Hinzufügen von Klassifikatoren sollte daher die Vorhersagen der Ensemble-Technik verbessern.

Sie vermissen die Tatsache, dass "schlechte" Klassifikatoren keine Genauigkeit von 0% haben, sondern nicht wesentlich besser als eine zufällige Vermutung.

Auf diese Weise sind gute Vorhersagen immer gleich und häufen sich (da die Wahrheit nur eine ist), während schlechte Vorhersagen zufälliges Rauschen sind, das sich herausmittelt.

Im Falle einer Klassifizierung gibt es im Allgemeinen zwei Möglichkeiten, die Vorhersage zusammenzustellen. Nehmen wir an, es handelt sich um ein Problem bei der Klassifizierung von Binärklassen, und Sie müssen drei Modelle mit den Namen m1, m2 und m3 zusammenstellen. Der Trainingsdatensatz heißt Zug- und Testdatensatz mit dem Namen test. Die Modelle basieren bereits auf train. Dann lautet der Python-Code wie folgt.

Die erste Methode besteht darin, eine Runde des Durchschnitts zu ziehen

pred=round([m1.predict(test)+m2.predict(test)+m3.predict(test)]/3) 

Die Ausgabe ist also ein Vektor mit den Werten 0 und 1

Die zweite Methode besteht darin, die Vorhersagewahrscheinlichkeit jeder Klasse aus diesen Modellen zusammenzustellen und diese zusammenzustellen und dann die Klasse entweder auf der Grundlage einer harten Schwelle oder einer Logik zu bestimmen.

pred_proba=[m1.predict(test).predict_proba++ m2.predict(test).predict_proba 
+m3.predict(test).predict_proba]/3 
# Simple average ensemble,however you can try weighted average as well

Durchlaufen Sie den gesamten pred_proba-Vektor, um herauszufinden, welcher in 0 und welcher 1 1 ist, basierend auf der harten Schwelle 0,5

pred=[] # Initialize a blank list for prediction

for x in pred_proba:
 if x>0.5:
   pred.append[1]
 else:
   pred.append[0]

Pred ist also die endgültige Vorhersage des Ensembles.