Die von Friedman vorgeschlagene Gradientenbaumverstärkung verwendet Entscheidungsbäume als Basislerner. Ich frage mich, ob wir den Basisentscheidungsbaum so komplex wie möglich (ausgewachsen) oder einfacher gestalten sollen. Gibt es eine Erklärung für die Wahl?
Random Forest ist eine weitere Ensemblemethode, bei der Entscheidungsbäume als Basislerner verwendet werden. Nach meinem Verständnis verwenden wir im Allgemeinen die fast ausgewachsenen Entscheidungsbäume in jeder Iteration. Habe ich recht?
Antworten:
Bitte beachten Sie, dass RF im Gegensatz zu Boosting (sequentiell) Bäume parallel wachsen lässt . Der von
iterative
Ihnen verwendete Begriff ist daher unangemessen.quelle
Diese Frage wird in diesem sehr schönen Beitrag angesprochen. Bitte sehen Sie es sich und die darin enthaltenen Referenzen an. http://fastml.com/what-is-better-gradient-boosted-trees-or-random-forest/
Beachten Sie in dem Artikel, dass der über Kalibrierung spricht und auf einen anderen (netten) Blog-Beitrag darüber verweist. Dennoch finde ich, dass Sie in dem Artikel Erhalten kalibrierter Wahrscheinlichkeiten durch Boosting besser verstehen, was Kalibrierung im Kontext von Boosted-Klassifikatoren ist und welche Standardmethoden dies sind.
Und schließlich fehlt ein Aspekt (etwas theoretischer). Sowohl RF als auch GBM sind Ensemble-Methoden, dh Sie bauen einen Klassifikator aus einer großen Anzahl kleinerer Klassifikatoren auf. Der grundlegende Unterschied liegt nun in der verwendeten Methode:
quelle