Deep Learning vs. Entscheidungsbäume und Methoden fördern

Ich suche nach Artikeln oder Texten, die vergleichen und diskutieren (entweder empirisch oder theoretisch):

• Boosting- und Entscheidungsbaum- Algorithmen wie Random Forests oder AdaBoost und GentleBoost werden auf Entscheidungsbäume angewendet.

mit

• Deep Learning Methoden wie Restricted Boltzmann Machines , Hierarchical Temporal Memory , Convolutional Neural Networks , etc.

Kennt jemand einen Text, der diese beiden Blöcke von ML-Methoden in Bezug auf Geschwindigkeit, Genauigkeit oder Konvergenz beschreibt oder vergleicht? Ich suche auch nach Texten, die die Unterschiede (zB Vor- und Nachteile) zwischen den Modellen oder Methoden im zweiten Block erklären oder zusammenfassen.

Alle Hinweise oder Antworten, die sich direkt auf solche Vergleiche beziehen, wären sehr dankbar.

Können Sie die Datentypen, die Sie betrachten, genauer beschreiben? Dies bestimmt zum Teil, welche Art von Algorithmus am schnellsten konvergiert.

Ich bin mir auch nicht sicher, wie man Methoden wie Boosten und DL vergleicht, da Boosten eigentlich nur eine Sammlung von Methoden ist. Welche anderen Algorithmen verwenden Sie beim Boosten?

Im Allgemeinen können DL-Techniken als Schichten von Codierern / Decodierern beschrieben werden. Unbeaufsichtigtes Vortraining arbeitet, indem zuerst jede Schicht vorab trainiert wird, indem das Signal codiert, das Signal decodiert und dann der Rekonstruktionsfehler gemessen wird. Die Optimierung kann dann verwendet werden, um eine bessere Leistung zu erzielen (z. B. wenn Sie gestapelte Autoencoder mit Rauschunterdrückung verwenden, können Sie die Rückübertragung verwenden).

Ein guter Ausgangspunkt für die DL-Theorie ist:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.73.795&rep=rep1&type=pdf

sowie diese:

http://portal.acm.org/citation.cfm?id=1756025

(Entschuldigung, musste letzten Link wegen SPAM-Filtersystem löschen)

Ich habe keine Informationen zu RBMs aufgenommen, aber sie sind eng miteinander verbunden (obwohl es persönlich anfangs etwas schwieriger ist, sie zu verstehen).

Tolle Frage! Sowohl adaptives Boosten als auch Deep Learning können als probabilistische Lernnetzwerke klassifiziert werden. Der Unterschied besteht darin, dass "Deep Learning" speziell ein oder mehrere "neuronale Netze" umfasst, wohingegen "Boosten" ein "Meta-Lernalgorithmus" ist, der ein oder mehrere Lernnetzwerke erfordert, die als schwache Lernende bezeichnet werden und "alles" sein können (d. H neuronales Netz, Entscheidungsbaum usw.). Der Boosting-Algorithmus verwendet eines oder mehrere seiner schwachen Lernernetzwerke, um einen so genannten "starken Lernenden" zu bilden, der die Gesamtergebnisse der Lernnetzwerke erheblich "steigern" kann (z. B. Microsofts Viola and Jones Face Detector, OpenCV).