Eine Familie von Algorithmen, die schwach prädiktive Modelle zu einem stark prädiktiven Modell kombinieren. Der gebräuchlichste Ansatz wird als Gradientenverstärkung bezeichnet, und die am häufigsten verwendeten schwachen Modelle sind Klassifizierungs- / Regressionsbäume.
Ich versuche die Unterschiede zwischen GBM und Adaboost zu verstehen. Folgendes habe ich bisher verstanden: Es gibt beide Boosting-Algorithmen, die aus den Fehlern des Vorgängermodells lernen und schließlich eine gewichtete Summe der Modelle bilden. GBM und Adaboost sind sich bis auf ihre...
Was sind theoretische Gründe, um fehlende Werte nicht zu behandeln? Gradientenverstärkungsmaschinen und Regressionsbäume verarbeiten fehlende Werte. Warum macht Random Forest das
Ich hatte eine Frage zum Interaktionstiefenparameter in gbm in R. Dies mag eine Noob-Frage sein, für die ich mich entschuldige, aber wie zeigt der Parameter, von dem ich glaube, dass er die Anzahl der Endknoten in einem Baum angibt, im Grunde genommen X-way an Interaktion zwischen den Prädiktoren?...
Es ist unwahrscheinlich, dass diese Frage zukünftigen Besuchern hilft. Es ist nur für ein kleines geografisches Gebiet, einen bestimmten Zeitpunkt oder eine außergewöhnlich enge Situation relevant, die für das weltweite Publikum des Internets im Allgemeinen nicht anwendbar ist. Weitere...
Ich versuche zu verstehen, wie XGBoost funktioniert. Ich verstehe bereits, wie gradientenverstärkte Bäume auf Python Sklearn funktionieren. Was mir nicht klar ist, ist, ob XGBoost auf die gleiche Weise funktioniert, aber schneller, oder ob es grundlegende Unterschiede zwischen ihm und der...
Ich habe es mit einem Problem der überwachten binären Klassifizierung zu tun. Ich möchte das GBM-Paket verwenden, um Personen als nicht infiziert / infiziert zu klassifizieren. Ich habe 15-mal mehr nicht infizierte als infizierte Personen. Ich habe mich gefragt, ob GBM-Modelle unter...
Ich experimentiere mit dem Algorithmus der Gradientenverstärkungsmaschine über das caretPaket in R. Unter Verwendung eines kleinen Datensatzes für Hochschulzulassungen habe ich den folgenden Code ausgeführt: library(caret) ### Load admissions dataset. ### mydata <-
Ich möchte wissen, ob der unten beschriebene Prozess gültig / akzeptabel ist und ob eine Begründung vorliegt. Die Idee: Überwachte Lernalgorithmen setzen keine zugrunde liegenden Strukturen / Verteilungen der Daten voraus. Am Ende des Tages geben sie Punktschätzungen aus. Ich hoffe, die...
Ich habe das Modell mit optimiert caret, aber dann das Modell mit dem gbmPaket erneut ausgeführt. Nach meinem Verständnis sollten das verwendete caretPaket gbmund die Ausgabe identisch sein. Nur ein kurzer Testlauf mit data(iris)zeigt jedoch eine Diskrepanz im Modell von etwa 5% unter Verwendung...
Ich arbeite mit GBM-Modellen unter Verwendung des Caret-Pakets und suche nach einer Methode, um die Vorhersageintervalle für meine vorhergesagten Daten zu lösen. Ich habe intensiv gesucht, aber nur ein paar Ideen gefunden, um Vorhersageintervalle für Random Forest zu finden. Jeder Hilfe / R-Code...
Gibt es eine Strategie zur Auswahl der Anzahl der Bäume in einem GBM? Insbesondere das ntreesArgument in Rder gbmFunktion. Ich verstehe nicht, warum Sie nicht ntreesden höchsten vernünftigen Wert einstellen sollten . Ich habe festgestellt, dass eine größere Anzahl von Bäumen die Variabilität der...
Für lineare Modelle (wie lineare Regression, logistische Regression usw.) ist das Feature-Engineering ein wichtiger Schritt, um die Leistung der Modelle zu verbessern. Meine Frage ist, ist es wichtig, ob wir Feature-Engineering durchführen, während wir zufällige Gesamtstruktur- oder...
Fragen: Was ist der Unterschied zwischen Boosted Regression Tree (BRT) und Generalized Boosted Models (GBM)? Können sie austauschbar verwendet werden? Ist das eine eine bestimmte Form des anderen? Warum verwendete Ridgeway den Ausdruck "Generalized Boosted Regression Models" (GBM), um zu...
Mir ist klar, dass das Boosting-Tree-Modell 3 Tuning-Parameter enthält, d. H. die Anzahl der Bäume (Anzahl der Iterationen) Schrumpfungsparameter Anzahl der Teilungen (Größe der einzelnen Bäume) Meine Frage ist: Wie soll ich für jeden der Abstimmungsparameter den optimalen Wert finden? Und...
Ist es möglich, ein partielles Abhängigkeitsdiagramm zu zeichnen, um die Klassenwahrscheinlichkeit anzuzeigen und die Auswirkungen eines Prädiktors für ein GBM- Modell abzuschätzen ? Ähnliches wie partialPlotaus dem randomForestPaket. Nach diesem Artikel ist ein Teilplot mit gbm machbar. Vielen...
Die Dokumentation besagt, dass R gbm mit Distribution = "adaboost" für das 0-1-Klassifizierungsproblem verwendet werden kann. Betrachten Sie das folgende Codefragment: gbm_algorithm <- gbm(y ~ ., data = train_dataset, distribution = "adaboost", n.trees = 5000) gbm_predicted <-...
Können wir alle Ensemblemethoden durch Abstimmung verallgemeinern? Verwenden Boosting-Methoden auch Abstimmungen, um die schwachen Lernenden in das endgültige Modell zu bringen? Mein Verständnis der Technik: Boosting: Fügt kontinuierlich schwache Lernende hinzu, um die Datenpunkte zu verbessern,...
Ich würde gerne wissen, welches der Abweichungsausdruck in der Poisson-Regression ist, der mit einem xgboostWerkzeug verwendet wird (extreme Gradientenverstärkung). Laut Quellcode lautet die Auswertungsfunktion: struct EvalPoissonNegLogLik : public EvalEWiseBase { const char *Name() const...