Definition der Komplexität eines Baumes in xgboost

Als ich über den xgboost-Algorithmus recherchierte, ging ich die Dokumentation durch .

Bei diesem Ansatz werden Bäume unter Verwendung der Komplexitätsdefinition wobei und Parameter sind, die Anzahl von ist Terminalblätter und ist die Punktzahl in jedem Blatt.

Ich frage mich: Wie definiert dies Komplexität? , die Anzahl der Endknoten, erscheint mir natürlich. Aber die Summe der Endergebnisse im Quadrat?$T$

Vielleicht ist Überanpassung gemeint. Bedeutet das, dass sehr große Punktzahlen zu viel Vertrauen geben? Wird es gewählt, um einen schwachen Lernenden zu bekommen? Was ist eine natürliche Erklärung für diese Wahl der Komplexitätsfunktion?

Das macht für mich Sinn.

Ich werde mich auf den Gaußschen Fall konzentrieren. Hier wird jeder Baum an die Residuen des aktuellen Modells , und die Modellaktualisierung lautet . Die Idee eines Gradientenverstärkers besteht darin, die Vorspannung des Modells sorgfältig und langsam zu verringern, indem diese Bäume einzeln hinzugefügt werden.$T_i$$M_{i+1} = M_{i} + \alpha T_i$

In diesem Fall würde ein großer Wert von einem Endknoten (Blattknoten) entsprechen, der eine sehr große und signifikante Aktualisierung des vorherigen Modells ergibt. Die Idee des Regularisierungsterms besteht darin, diese Vorfälle großer Einzelbaumaktualisierungen zu minimieren (nur dann zuzulassen, wenn die Verringerung der Modellverlustfunktion groß genug ist, um die Regularisierungsstrafe auszugleichen). Wenn ein solches Update für einen einzelnen Baum reguliert wird, sich jedoch als gerechtfertigt herausstellt, wird es gemäß der Philosophie des Boostings über mehrere Modellupdates hinweg eingebrannt.$w_i$

Dies ist eine sehr enge Analogie zur Gratregression.