Welche Absackalgorithmen sind würdige Nachfolger von Random Forest?

14

Für das Boosten von Algorithmen würde ich sagen, dass sie sich ziemlich gut entwickelt haben. Anfang 1995 wurde AdaBoost eingeführt und nach einiger Zeit wurde es Gradient Boosting Machine (GBM). Vor kurzem wurde um 2015 XGBoost eingeführt, das genau ist, Überanpassungen handhabt und bei mehreren Kaggle-Wettbewerben als Sieger hervorgegangen ist. Im Jahr 2017 wurde LightGBM von Microsoft eingeführt und bietet im Vergleich zu XGBoost eine deutlich kürzere Einarbeitungszeit. CatBoost wurde von Yandex auch für den Umgang mit kategorialen Funktionen eingeführt.

Random Forest wurde Anfang der 2000er Jahre eingeführt, aber hat es irgendwelche würdigen Nachfolger gegeben? Ich denke, wenn es einen besseren Absackalgorithmus als Random Forest gegeben hätte (der sich in der Praxis leicht anwenden lässt), hätte er an Orten wie Kaggle Aufmerksamkeit erregt. Warum wurde Boosten zur populäreren Ensemble-Technik, weil Sie weniger Bäume für eine optimale Vorhersage bauen können?

random-forest boosting bagging Marius
quelle
1
adaBoost wurde tatsächlich 1995 eingeführt, aber das ist ein kleiner Punkt, der Ihre grundlegende These nicht ändert.
Bogenschütze
3
Seit zufälligen Wäldern haben wir auch die Einführung von extrem zufälligen Bäumen gesehen , obwohl mir keine guten Beweise dafür bekannt sind, dass diese zufälligen Wälder in irgendeiner Konsistenz übertreffen, so dass sie möglicherweise kein "würdiger" Nachfolger sind ...
Jake Westfall
1
BART ( arxiv.org/abs/0806.3286 ) ist ein Bayesianisches Modell, das sich aus dem Bayesianischen CART mit einem einzigen Baum entwickelt und von den klassischen Ensemblemethoden inspiriert hat. Es lohnt sich zu erkunden.
Zen
Boosting wurde immer beliebter, da es viele Probleme mit schwachen
Refael
Regularisierte gierige Wälder könnten erwähnenswert sein (langsame, aber einige gute Ergebnisse) und zufällige Quantilwälder für ihre kühlen Nebenwirkungen.
Michael M

Antworten:

3

xgboost, catboost und lightgbm verwenden einige Funktionen von Random Forest (zufällige Stichprobe von Variablen / Beobachtungen). Ich denke also, sie sind ein Nachfolger von Boosting und RF zusammen und holen das Beste aus beiden. ;)

PhilippPro
quelle