Inwiefern unterscheidet sich ein extrem zufälliger Wald von einem zufälligen Wald?

18

Ist die Umsetzung von ER effizienter (ähnlich Extreme Gradient Boostingwie die Steigerung des Gradienten) - ist der Unterschied aus praktischer Sicht wichtig? Es gibt ein R-Paket, das sie implementiert. Ist es ein neuer Algorithmus, der die "generische" Implementierung (RandomForest-Paket von R) nicht nur hinsichtlich der Effizienz oder auch in einigen anderen Bereichen überwindet?

Extreme Random Forest http://link.springer.com/article/10.1007%2Fs10994-006-6226-1

Qbik
quelle

Antworten:

20

Dies ist ziemlich einfach - RF optimiert Aufteilungen an Bäumen (dh wählt diejenigen aus, die den besten Informationsgewinn in Bezug auf die Entscheidung bieten) und ERF macht sie nach dem Zufallsprinzip. Jetzt,

  • Optimierungskosten (nicht viel, aber immer noch), daher ist der ERF normalerweise schneller.
  • Die Optimierung kann zur Korrelation von Bäumen im Ensemble oder zur Gesamtüberanpassung beitragen, sodass ERFs wahrscheinlich robuster sind, insbesondere wenn das Signal schwach ist.

Wenn Sie noch weiter in diese Richtung gehen, können Sie zusätzliche Geschwindigkeit erzielen, indem Sie die Teilungen auf jeder Baumebene ausgleichen und auf diese Weise Bäume in Farne verwandeln , die ebenfalls sehr interessant sind. Es gibt meine R-Implementierung eines solchen Individuums.


quelle
Diese Verbindung ist unterbrochen. Verwenden Sie CVLAB: Ferns
smci
Ich nehme an, dass von ERF erstellte Bäume viel größer sind als die von RF, da RF eine Optimierung verwendet, die das Wissen aus dem Datensatz auf kleinere Bäume komprimiert
Qbik