Wie generiert zufällige Gesamtstruktur die zufällige Gesamtstruktur?

20

Ich bin kein Experte für zufällige Gesamtstrukturen, aber ich verstehe klar, dass das Hauptproblem bei zufälligen Gesamtstrukturen die (zufällige) Baumgenerierung ist. Können Sie mir erklären, wie die Bäume entstehen? (dh was ist die verwendete Verteilung für die Baumerzeugung?)

Danke im Voraus !

Robin Girard
quelle

Antworten:

16

Die Implementierungen von RF unterscheiden sich geringfügig. Ich weiß, dass die proprietäre Implementierung von Salford Systems besser sein soll als die von Vanilla in R. Eine Beschreibung des Algorithmus findet sich in ESL von Friedman-Hastie-Tibshirani, 2. Aufl., 3. Druck . Ein ganzes Kapitel (15.) ist RF gewidmet, und ich finde es tatsächlich klarer als das Originalpapier. Der Baumkonstruktionsalgorithmus wird auf S.588 detailliert beschrieben. Ich muss es hier nicht reproduzieren, da das Buch online verfügbar ist.

gappy
quelle
Vielen Dank für Ihre Antwort! Ich habe dieses Buch von der ersten bis zur letzten Seite gelesen, aber ich glaube, es war Ausgabe 1 ... Ich wusste nicht, dass es online verfügbar ist.
Robin Girard
19

Die Hauptidee ist das Absacken der Bäume. Im Einzelnen basiert jeder Baum auf einer Stichprobe von Objekten, die als Ersatz aus dem ursprünglichen Satz gezogen wurden. Somit hat jeder Baum einige Objekte, die er nicht gesehen hat, was das gesamte Ensemble heterogener und damit allgemeiner macht.

Außerdem werden Bäume so geschwächt, dass bei jeder Teilung nur M (oder mtry) zufällig ausgewählte Attribute berücksichtigt werden; M ist normalerweise eine Quadratwurzel der Anzahl der Attribute in der Menge. Dies stellt sicher, dass die Bäume weniger überpasst werden, da sie nicht beschnitten werden. Weitere Details finden Sie hier .

Auf der anderen Seite gibt es eine Variante von RF genannt Extremem Zufall Wald, in denen Bäume in zufälliger Art und Weise hergestellt werden (es gibt keine Optimierung von Splits) - konsultieren, ich denke , diese Referenz .

Amelio Vazquez-Reina
quelle
Tut mir leid, aber ich verstehe deine Antwort nicht wirklich. Was meinen Sie mit "Jeder Baum baut im Detail auf einer Stichprobe von Objekten auf, die durch Ersatz aus dem Originalsatz gezeichnet wurden"? Können Sie präziser angeben, wo ich die Details "hier" finde?
Robin Girard
1
So funktioniert das Absacken; Schauen Sie sich en.wikipedia.org/wiki/Bootstrap_aggregating an . Hier ist ein Link (ich gebe zu, in diesem Thema kaum sichtbar) zu der detaillierten RF-Referenz.