Was ist der einfachste Weg, Boosten zu verstehen?
Warum werden sehr schwache Klassifikatoren nicht auf "unendlich" angehoben (Perfektion)?
Im Klartext: Wenn Ihr Klassifikator einige Daten falsch klassifiziert, trainieren Sie eine weitere Kopie davon hauptsächlich für diesen falsch klassifizierten Teil mit der Hoffnung, dass er etwas Feines entdeckt. Und dann wie gewohnt iterieren. Unterwegs gibt es einige Abstimmungsschemata, die es ermöglichen, die Vorhersagen all dieser Klassifikatoren auf sinnvolle Weise zu kombinieren.
Weil es manchmal unmöglich ist (das Rauschen verbirgt nur einen Teil der Informationen oder es ist nicht einmal in den Daten vorhanden); Auf der anderen Seite kann zu viel Boosten zu Überanpassung führen.
Beim Boosten wird die Schrumpfung über den Parameter für die Lernrate angewendet. In Verbindung mit der k- fachen Kreuzvalidierung, "Out-of-Bag" -Vorhersagen (OOB) oder unabhängigen Testsätzen wird die Anzahl der Bäume festgelegt, die im Ensemble aufbewahrt werden sollen.
Wir wollen ein Modell, das langsam lernt, daher gibt es einen Kompromiss in Bezug auf die Komplexität jedes einzelnen Modells und die Anzahl der einzuschließenden Modelle. Die Anleitung, die ich gesehen habe, schlägt vor, dass Sie die Lernrate so niedrig wie möglich einstellen (unter Berücksichtigung des Rechenzeit- und Speicherplatzbedarfs), während die Komplexität jedes Baums auf der Grundlage ausgewählt werden sollte, ob und in welchem Maße Interaktionen zulässig sind. Je komplexer der Baum ist, desto komplexer sind die darstellbaren Wechselwirkungen.
Die Lernrate wird im Bereich . Kleinere Werte ( ) bevorzugt. Dies ist eine Gewichtung, die auf jeden Baum angewendet wird, um den Beitrag jedes Modells zu den angepassten Werten zu verringern.
k- fach CV (oder OOB-Vorhersagen oder unabhängiger Testsatz) wird verwendet, um zu entscheiden, wann das verstärkte Modell zu überanpassen beginnt. Im Grunde ist es das, was uns davon abhält, zum perfekten Modell aufzusteigen, aber es ist besser, langsam zu lernen, damit wir ein großes Ensemble von Modellen haben, die zum angepassten Modell beitragen.