Breiman sagt, dass die Bäume ohne Beschneiden gewachsen sind. Warum? Ich will damit sagen, dass es einen soliden Grund geben muss, warum die Bäume in zufälligen Wäldern nicht beschnitten werden. Andererseits wird es als sehr wichtig angesehen, einen einzelnen Entscheidungsbaum zu beschneiden, um eine Überanpassung zu vermeiden. Gibt es aus diesem Grund Literatur zum Lesen? Natürlich sind die Bäume möglicherweise nicht korreliert, aber es besteht immer noch die Möglichkeit einer Überanpassung.
machine-learning
Z Khan
quelle
quelle
Antworten:
Grob gesagt wird ein Teil der potenziellen Überanpassung, die bei einem einzelnen Baum auftreten kann (was ein Grund ist, warum Sie generell beschneiden), durch zwei Dinge in einem Zufallswald gemildert:
Bearbeiten: basierend auf dem Kommentar von OP unten:
Es besteht definitiv noch Überanpassungspotential. In Bezug auf Artikel können Sie die Motivation für das "Absacken" von Breiman und das "Bootstrapping" im Allgemeinen von Efron und Tibshirani nachlesen. Bis 2. hat Brieman einen locker gebundenen Generalisierungsfehler abgeleitet, der mit der Baumstärke und der Antikorrelation der einzelnen Klassifikatoren zusammenhängt. Niemand verwendet die Schranke (höchstwahrscheinlich), aber sie soll eine Vorstellung davon geben, was bei Ensemble-Methoden bei niedrigen Generalisierungsfehlern hilft. Dies ist im Random Forests-Artikel selbst beschrieben. Mein Beitrag war es, Sie auf der Grundlage dieser Messwerte und meiner Erfahrungen / Schlussfolgerungen in die richtige Richtung zu lenken.
quelle