Zufälliger Wald gegen Adaboost

10

In Abschnitt 7 der Arbeit Random Forests (Breiman, 1999) stellt der Autor die folgende Vermutung auf: "Adaboost ist ein zufälliger Wald".

Hat jemand dies bewiesen oder widerlegt? Was wurde getan, um diesen Beitrag von 1999 zu beweisen oder zu widerlegen?

machine-learning random-forest boosting Alex
quelle
Bitte lesen Sie stats.stackexchange.com/questions/77018/… Vielleicht finden Sie Ihre Antwort dort
@ user75008 Danke! Abschnitt 7 enthält also eine weitere Vermutung, die zeigt, dass Adaboost, wenn es bewiesen ist, einem zufälligen Wald entspricht. Hat jemand gezeigt, dass diese Vermutung wahr ist?
Alex
@ user75008 Ich lese Ihren Link, stats.stackexchange.com/questions/77018/…. Glauben Sie, dass Adaboost nicht mit Random Forest gleichwertig ist?
Alex

Antworten:

3

Interessante Frage. Seitdem wurde eine Reihe von Arbeiten durchgeführt, um Ada Boost mit ein paar verschiedenen Taktiken zu erklären.

Ich habe eine schnelle Literaturrecherche durchgeführt, und dieses etwas seltsame Papier scheint das neueste zu diesem Thema zu sein, und es gibt auch einen Überblick über die intervenierenden Arbeiten von Brieman und anderen:

http://arxiv.org/pdf/1212.1108.pdf

Ich habe keine Ahnung, ob ihre Ergebnisse gültig sind, aber sie behaupten, Briemans Vermutung nicht bewiesen zu haben, aber eine geschwächte Version davon bewiesen zu haben, dass Adaboost maßerhaltend, aber nicht unbedingt ergodisch ist.

Sie präsentieren auch einige empirische Beweise dafür, dass Adaboost tatsächlich manchmal überpasst.

Ich denke, das deutet darauf hin, dass Adaboost möglicherweise mit einem zufälligen Wald zusammenhängt, aber nicht ganz (oder nicht immer) gleichwertig ist, wie Brieman vermutet hat.

Ryan Bressler
quelle
Danke, ich denke, das ist immer noch eine offene Frage, aber Ihre letzte Aussage ist aussagekräftig.
Alex
1
Ja, ich denke es ist noch offen. Ich denke auch, dass das Interesse an der Analyse von AdaBoost nachgelassen hat, da [stochastische] Gradientenverstärkungsmaschinen immer beliebter geworden sind. AdaBoost ist eine Form des Gradientenabstiegs ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ), und das Denken in explizit randomisiertem Gradientenabstieg kann intuitiver und praktischer sein als die von Brieman vorgeschlagene Äquivalenz. (Das heißt, selbst wenn es wahr wäre, könnte es in der Praxis sehr schwierig sein, die erforderliche Verteilung zu ermitteln.)
Ryan Bressler
Ich habe gerade dieses neue Papier zu diesem Thema gesehen: arxiv.org/pdf/1504.07676v1.pdf
Ryan Bressler
Sehr interessant wenn wahr! "Wir kommen zu dem Schluss, dass Boosting wie zufällige Wälder eingesetzt werden sollte: mit großen Entscheidungsbäumen und ohne direkte Regularisierung oder vorzeitiges Stoppen."
Alex