Theoretische Ergebnisse für zufällige Wälder?

9

Zufällige Wälder haben unter Praktikern den Ruf, zu den effektivsten Klassifizierungstechniken zu gehören. In der lerntheoretischen Literatur, aus der ich das Fehlen tiefer theoretischer Ergebnisse vermute, begegnen wir ihnen jedoch nicht viel. Wenn man sich mit dieser Theorie befassen wollte, wo würde man anfangen?

machine-learning lg.learning Aryeh
quelle
2
In der kommenden SODA'15 gibt es ein neues Papier, das relevant sein könnte. Siehe Meetings.siam.org/sess/dsp_talk.cfm?p=68795
Chandra Chekuri
@ChandraChekuri, ich sehe nur eine Zusammenfassung, aber kein Papier. Gibt es ein volles Papier? Und hat dies etwas mit der Methode des maschinellen Lernens in zufälligen Wäldern zu tun (für überwachte Lern- / Klassifizierungsaufgaben)?
DW
@DW Schreiben Sie an die Autoren und prüfen Sie, ob sie bereit sind, eine Kopie zu teilen. Ich bin mir der Ergebnisse bewusst, habe das Papier aber selbst nicht gesehen.
Chandra Chekuri

Antworten:

5

Nach Simones Antwort hat Gerard Biau mehrere sehr gute Artikel, die sich mit Konvergenz und Konsistenz für zufällige Wälder befassen. Die Analysen beziehen sich auf leicht vereinfachte Versionen des Algorithmus im Vergleich zu Breiman 2001, sind jedoch weniger vereinfacht als frühere Ergebnisse.

Biaus Papiere (zusammen mit seinen Mitarbeitern) sind alle auf seiner Website verfügbar:

http://www.lsta.upmc.fr/BIAU/publications.html

Besonders relevant ist eine "in press" -Arbeit zur Konsistenz: http://www.lsta.upmc.fr/BIAU/sbv.pdf

Es gibt 2-3 andere Artikel mit zufälligem Waldinhalt. Ich bin gerade cstheory beigetreten, daher kann ich nicht mehr als zwei Links posten, aber die oben genannte Website enthält alle.

Ich hoffe das ist hilfreich. Es sieht so aus, als ob es seit 2008 nach einer weitgehend empirischen Anwendung der Methode einen Ausbruch der jüngsten Aktivitäten gibt. Und die gute Nachricht ist, dass theoretische Untersuchungen zu zeigen scheinen, dass die Methode robust ist und gute Eigenschaften aufweist.

Mark Madsen
quelle
6

Ich denke, Sie haben sich bereits Breimans Artikel von 2001 über RF angesehen. Ich kann nur auf einige andere Referenzen hinweisen:

Empirische Vergleiche verschiedener RF-Vereinfachungen, die es ermöglichen, Theoreme zu beweisen: Verengung der Lücke: Zufällige Wälder in Theorie und Praxis

Dies ist die neueste Referenz, die ich bereitstellen kann. In diesem Artikel finden Sie auch einige Zitate von Biaus Artikeln über erste Arbeiten zu theoretischen Ergebnissen für RF.

Wenn Sie an theoretischen Ergebnissen zur variablen Bedeutung von RF interessiert sind: Verständnis der variablen Bedeutung in Wäldern randomisierter Bäume

Eigentlich habe ich gerade herausgefunden, dass der Autor des letzten Papiers (Gilles Louppe) gerade auf arxiv seine Doktorarbeit (v2) gepostet hat: Random Forests verstehen: Von der Theorie zur Praxis

Simone
quelle