Tatsächlich läuft es auf eine der "3B" -Techniken hinaus: Absacken, Boosten oder Mischen.
Beim Absacken trainieren Sie viele Klassifikatoren für verschiedene Teilmengen von Objekten und kombinieren die Antworten nach Durchschnitt für die Regression und Abstimmung für die Klassifizierung (es gibt einige andere Optionen für komplexere Situationen, aber ich überspringe sie). Stimmenanteil / Varianz kann als Fehlerannäherung interpretiert werden, da die einzelnen Klassifikatoren in der Regel als unabhängig gelten. RF ist in der Tat ein Absackensemble.
Boosting ist eine umfassendere Methodenfamilie. Der Hauptaspekt besteht jedoch darin, dass Sie den nächsten Klassifikator auf den Residuen des ersteren aufbauen und auf diese Weise (theoretisch) die Genauigkeit allmählich erhöhen, indem Sie immer subtilere Wechselwirkungen hervorheben. Die Vorhersagen werden daher normalerweise kombiniert, indem sie summiert werden, etwa indem ein Wert einer Funktion in x berechnet wird, indem die Werte der Elemente der Taylor-Reihe für x summiert werden.
Die beliebtesten Versionen sind (Stochastic) Gradient Boosting (mit guter mathematischer Grundlage) und AdaBoost (bekanntlich ein spezifischer Fall von GB). Aus einer ganzheitlichen Perspektive ist der Entscheidungsbaum eine Steigerung der Trivial-Pivot-Klassifikatoren.
Beim Mischen werden Klassifikatoren verschachtelt, dh ein Klassifikator wird in einem Informationssystem ausgeführt, das aus Vorhersagen anderer Klassifikatoren besteht. Daher ist es eine sehr variable Methode und sicherlich kein definierter Algorithmus. erfordert möglicherweise viele Objekte (in den meisten Fällen muss der "Mixer" -Klassifikator auf eine Reihe von Objekten trainiert werden, die nicht zum Erstellen der Teilklassifikatoren verwendet wurden, um eine peinliche Überanpassung zu vermeiden).
Die Vorhersagen von Teilklassifikatoren werden offensichtlich kombiniert, indem sie zu einem Informationssystem verschmolzen werden, das vom Mixer vorhergesagt wird.