Mein Setup ist wie folgt: Ich folge den Richtlinien in "Applied Predictive Modeling". Daher habe ich korrelierte Merkmale gefiltert und erhalte am Ende Folgendes: 4900 Datenpunkte im Trainingssatz und 1600 Datenpunkte im Testsatz. Ich habe 26 Funktionen und das Ziel ist eine kontinuierliche...
Der Lernratenparameter ( ) in Gradient Boosting verringert den Beitrag jedes neuen Basismodells - normalerweise eines flachen Baums -, das in der Reihe hinzugefügt wird. Es hat sich gezeigt, dass die Genauigkeit des Testsatzes drastisch erhöht wird, was verständlich ist, da mit kleineren Schritten...
In den Lehrbüchern und YouTube-Vorlesungen habe ich viel über iterative Modelle wie Boosten gelernt, aber ich habe nie etwas darüber gesehen, wie man ein Vorhersageintervall ableitet. Kreuzvalidierung wird für Folgendes verwendet: Modellauswahl : Probieren Sie verschiedene Modelle aus und wählen...
Ich habe Alexandru Niculescu-Mizil und Rich Caruanas Artikel " Erhalten kalibrierter Wahrscheinlichkeiten durch Boosting " und die Diskussion in diesem Thread gelesen . Ich habe jedoch immer noch Probleme beim Verstehen und Implementieren der logistischen oder Plattschen Skalierung , um die Ausgabe...
Entscheidungsstumpf ist ein Entscheidungsbaum mit nur einer Teilung. Es kann auch als stückweise Funktion geschrieben werden. Angenommen, ist ein Vektor und ist die erste Komponente von . Bei der Regressionseinstellung kann es sich um einen Entscheidungsstumpf handelnx 1 xxxxx1x1x_1xxx f( x ) = {...
Die Frage Ich habe Probleme zu verstehen, wie die Vorhersage im Intervall [0,1][0,1][0,1] wenn ich eine binäre Klassifizierung mit Gradient Boosting durchführe. Angenommen, wir arbeiten an einem binären Klassifizierungsproblem und unsere Zielfunktion ist der logarithmische Verlust , wobei ist die...
Wann sollte ich bei einem Klassifizierungsproblem, bei dem das Ziel darin besteht, die Zugehörigkeit zu einer außerhalb der Stichprobe liegenden Klasse genau vorherzusagen, im Allgemeinen keinen Ensemble-Klassifizierer verwenden? Diese Frage steht in engem Zusammenhang mit Warum nicht immer...
Ich habe es mit einem Problem der überwachten binären Klassifizierung zu tun. Ich möchte das GBM-Paket verwenden, um Personen als nicht infiziert / infiziert zu klassifizieren. Ich habe 15-mal mehr nicht infizierte als infizierte Personen. Ich habe mich gefragt, ob GBM-Modelle unter...
Kann Friedmans Steigungsverstärkungsmaschine eine bessere Leistung erzielen als Breimans Random Forest ? Wenn ja, unter welchen Bedingungen oder mit welchen Daten kann gbm verbessert
Es gibt viele Blog-Posts, YouTube-Videos usw. über die Idee , Bäume zu fangen oder zu vermehren . Mein allgemeines Verständnis ist, dass der Pseudocode für jedes ist: Absacken: Nehmen Sie N zufällige Stichproben von x% der Stichproben und y% der Merkmale Passen Sie Ihr Modell (z. B....
Ich experimentiere mit dem Algorithmus der Gradientenverstärkungsmaschine über das caretPaket in R. Unter Verwendung eines kleinen Datensatzes für Hochschulzulassungen habe ich den folgenden Code ausgeführt: library(caret) ### Load admissions dataset. ### mydata <-
Eigentlich dachte ich, ich hätte verstanden, was man mit partieller Abhängigkeit darstellen kann, aber unter Verwendung eines sehr einfachen hypothetischen Beispiels wurde ich ziemlich verwirrt. Im folgenden Codeabschnitt generiere ich drei unabhängige Variablen ( a , b , c ) und eine abhängige...
Für das Boosten von Algorithmen würde ich sagen, dass sie sich ziemlich gut entwickelt haben. Anfang 1995 wurde AdaBoost eingeführt und nach einiger Zeit wurde es Gradient Boosting Machine (GBM). Vor kurzem wurde um 2015 XGBoost eingeführt, das genau ist, Überanpassungen handhabt und bei mehreren...
Ich versuche, den Gradienten für ein Dataset mit einer Ereignisrate von etwa 1% mithilfe von Enterprise Miner zu erhöhen, aber es wird keine Ausgabe erzeugt. Meine Frage ist, ob es sich um einen auf Entscheidungsbäumen basierenden Ansatz handelt, ob es überhaupt richtig ist, die...
Da ich von dem AdaBoost-Klassifikator gehört habe, der bei der Arbeit wiederholt erwähnt wurde, wollte ich ein besseres Gefühl dafür bekommen, wie es funktioniert und wann man es verwenden möchte. Ich habe eine Reihe von Artikeln und Tutorials darüber gelesen, die ich bei Google gefunden habe, aber...
Es gibt eine Boost- Variante, die als Gentleboost bezeichnet wird . Wie unterscheidet sich sanftes Boosten vom bekannteren AdaBoost
Durch Lesen der hervorragenden statistischen Modellierung: Die beiden Kulturen (Breiman 2001) können wir den Unterschied zwischen traditionellen statistischen Modellen (z. B. lineare Regression) und Algorithmen für maschinelles Lernen (z. B. Bagging, Random Forest, Boosted trees ...)...
Es scheint mir, dass das Lernen von Ensembles immer eine bessere Prognoseleistung liefert als mit nur einer einzelnen Lernhypothese. Also, warum benutzen wir sie nicht die ganze Zeit? Meine Vermutung liegt vielleicht an Recheneinschränkungen? (Selbst dann verwenden wir schwache Prädiktoren, also...
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 4 Monaten . Gibt es eine gute Python-Bibliothek zum Trainieren von Boosted Decision...
Bei der Codierung kategorialer Merkmale für die lineare Regression gilt die Regel: Die Anzahl der Dummies sollte eins weniger sein als die Gesamtzahl der Ebenen (um Kollinearität zu vermeiden). Gibt es eine ähnliche Regel für Entscheidungsbäume (eingesackt, verstärkt)? Ich frage dies, weil eine...