Regressionsbaumalgorithmus mit linearen Regressionsmodellen in jedem Blatt

Kurzversion: Ich suche ein R-Paket, das Entscheidungsbäume erstellen kann, während jedes Blatt im Entscheidungsbaum ein vollständiges lineares Regressionsmodell ist. AFAIK, die Bibliothek rparterstellt Entscheidungsbäume, in denen die abhängige Variable in jedem Blatt konstant ist. Gibt es eine andere Bibliothek (oder eine rpartEinstellung, die mir nicht bekannt ist), die solche Bäume bauen kann?

Langfassung: Ich suche einen Algorithmus, der einen Entscheidungsbaum auf der Grundlage eines Trainingsdatensatzes erstellt. Jede Entscheidung im Baum teilt den Trainingsdatensatz gemäß einer Bedingung für eine der unabhängigen Variablen in zwei Teile. Die Wurzel des Baums enthält den vollständigen Datensatz, und jedes Element im Datensatz ist in genau einem Blattknoten enthalten.

Der Algorithmus sieht folgendermaßen aus:

1. Beginnen Sie mit dem vollständigen Datensatz, der der Stammknoten des Baums ist. Wählen Sie diesen Knoten , und nennen es .$N$
2. Erstellen Sie eine lineare Regression Modell auf die Daten in .$N$
3. Wenn des linearen Modells von N höher als ein Schwellenwert θ R 2 ist , ist N erledigt. Markieren Sie N als Blatt, und fahren Sie mit Schritt 5 fort.$R^2$$N$$\theta_{R^2}$$N$$N$
4. Versuchen Sie es mit zufälligen Entscheidungen und wählen Sie die aus, die das beste R 2 in den Unterknoten ergibt: $n$$R^2$
   • Wählen Sie eine zufällige unabhängige Variable sowie eine zufällige Schwelle θ i .$v_i$$\theta_i$
   • Die Entscheidung , teilt den Datensatz von N in zwei neue Knoten, N und ~ N .$v_i \leq \theta_i$$N$$\hat{N}$$\tilde{N}$
   • Erstellen Lineare Regressionsmodelle sowohl N und ~ N und berechnen ihre R 2 (nennen wir sie r und ~ r ).$\hat{N}$$\tilde{N}$$R^2$$\hat{r}$$\tilde{r}$
   • Aus allen diesen - Tupel ( v i , θ i , r , ~ r ) , wählen den mit dem maximal m i n ( r , ~ r ) . Daraus ergibt sich eine neue Entscheidung in dem Baum, und N hat zwei neue Unterknoten N und ~ N .$n$$(v_i, \theta_i, \hat{r}, \tilde{r})$$min(\hat{r}, \tilde{r})$$N$$\hat{N}$$\tilde{N}$
5. Wir haben die Bearbeitung von . Wählen Sie einen neuen Knoten N aus, der noch nicht verarbeitet wurde, und kehren Sie zu Schritt 2 zurück. Wenn alle Knoten verarbeitet wurden, endet der Algorithmus.$N$$N$

Dadurch wird rekursiv ein Entscheidungsbaum erstellt, der die Daten in kleinere Teile aufteilt und ein lineares Modell für jeden dieser Teile berechnet.

Schritt 3 ist die Ausgangsbedingung, die eine Überanpassung des Algorithmus verhindert. Natürlich gibt es auch andere mögliche Ausstiegsbedingungen:

• Beenden Sie, wenn die Tiefe von im Baum über θ d e p t $N$$\theta_{depth}$
• Beenden Sie den Vorgang, wenn der Datensatz in kleiner als θ d a t a s e $N$$\theta_{data set}$

Gibt es einen solchen Algorithmus in einem R-Paket?

Sie funktionieren zwar anders als Ihr Algorithmus, aber ich glaube, Sie werden mob () und FTtree interessant finden. Für Zeileis 'Mob siehe http://cran.r-project.org/web/packages/party/vignettes/MOB.pdf Für FTtree, Gamas Funktionsbäume, ist eine Implementierung in Weka und damit in RWeka verfügbar. Weitere Informationen finden Sie unter http://cran.r-project.org/web/packages/RWeka/index.html .

RWeka- Paket bietet viele Regressionsmethoden. Darunter befindet sich M5P (M5 Prime), ein exakt baumbasiertes Regressionsmodell mit linearen Gleichungen in Blättern. Weitere Einzelheiten zur M5-Methode finden Sie in der Publikation .

Ein Beispielcode wäre:

library(RWeka)
M5_model = M5P (Dep_var ~ ., data = train, control = Weka_control(N=F, M=10))
train_predicted = predict(M5_model, train)
test_predicted = predict(M5_model, test)

Wenn Sie das Absackensemble mit der M5-Methode verwenden möchten, versuchen Sie Folgendes:

M5_bag = Bagging(Dep_var ~ ., data = train, control = Weka_control(P=100, I = 100, W = list("weka.classifiers.trees.M5P", M = 4)))

Versuchen Sie Folgendes, um die Steuerungsoptionen für das M5P-Modell anzuzeigen:

WOW(M5P)

Wenn Sie die M5-Methode optimieren möchten, finden Sie im caretPaket eine Lösung :

library(caret)
Optimization = train (Dep_var ~ .,data = train, method = 'M5')

Ich denke, dies beantwortet die Kurzfassung Ihrer Frage:

Das Cubist- Paket passt regelbasierte Modelle (ähnlich wie Bäume) mit linearen Regressionsmodellen in den Terminalblättern, instanzbasierten Korrekturen und Boosten an.

Aus Cran-Aufgabenansichten: Maschinelles Lernen