"Klassifikations- und Regressionsbäume". CART ist eine beliebte maschinelle Lerntechnik und bildet die Grundlage für Techniken wie zufällige Wälder und gängige Implementierungen von Maschinen zur Erhöhung des Gradienten.
Zufällige Wälder gelten als Black Boxes, aber in letzter Zeit habe ich darüber nachgedacht, welches Wissen aus einem zufälligen Wald gewonnen werden kann. Das offensichtlichste ist die Wichtigkeit der Variablen. In der einfachsten Variante kann dies einfach durch Berechnen der Anzahl der Vorkommen...
Die von Friedman vorgeschlagene Gradientenbaumverstärkung verwendet Entscheidungsbäume als Basislerner. Ich frage mich, ob wir den Basisentscheidungsbaum so komplex wie möglich (ausgewachsen) oder einfacher gestalten sollen. Gibt es eine Erklärung für die Wahl? Random Forest ist eine weitere...
Kann jemand die Hauptunterschiede zwischen bedingten Inferenzbäumen ( ctreeaus dem partyPaket in R) im Vergleich zu den traditionelleren Entscheidungsbaumalgorithmen (wie rpartin R) erklären ? Was unterscheidet CI-Bäume? Stärken und Schwächen? Update: Ich habe mir das Papier von Horthorn et al....
Ich beginne mit der Verwendung von dabble glmnetmit LASSO Regression , wo mein Ergebnis von Interesse dichotomous ist. Ich habe unten einen kleinen nachgebildeten Datenrahmen erstellt: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45,...
Meine Fragen beziehen sich auf zufällige Wälder. Das Konzept dieses schönen Klassifikators ist mir klar, aber es gibt noch viele praktische Fragen zur Verwendung. Leider konnte ich keinen praktischen Leitfaden für RF finden (ich habe nach etwas wie "Ein praktischer Leitfaden für das Training...
Jeder hat Bibliotheks- oder Codevorschläge, wie man tatsächlich ein paar Beispielbäume plottet : getTree(rfobj, k, labelVar=TRUE) (Ja, ich weiß, Sie sollten dies nicht operativ tun, RF ist eine Blackbox usw. usw. Ich möchte einen Baum visuell auf Fehler überprüfen, um festzustellen, ob sich...
Was ist "Abweichung", wie wird sie berechnet und wie werden sie in verschiedenen Bereichen der Statistik verwendet? Insbesondere interessiere ich mich persönlich für die Verwendung in CART (und die Implementierung in rpart in R). Ich frage dies, da der Wiki-Artikel etwas zu wünschen übrig lässt und...
Ich bin neu im Data Mining und versuche, einen Entscheidungsbaum gegen einen Datensatz zu trainieren, der sehr unausgewogen ist. Ich habe jedoch Probleme mit der schlechten Vorhersagegenauigkeit. Die Daten bestehen aus Studenten, die Kurse studieren, und die Klassenvariable ist der Kursstatus, der...
In einer Einführung in das statistische Lernen mit Anwendungen in R schreiben die Autoren, dass das Anpassen eines Entscheidungsbaums sehr schnell ist, aber das ergibt für mich keinen Sinn. Der Algorithmus muss jedes Feature durchlaufen und auf jede mögliche Weise partitionieren, um die optimale...
Ich erhalte eine 100% ige Genauigkeit für meinen Entscheidungsbaum. Was mache ich falsch? Das ist mein Code: import pandas as pd import json import numpy as np import sklearn import matplotlib.pyplot as plt data = np.loadtxt("/Users/Nadjla/Downloads/allInteractionsnum.csv", delimiter=',') x =...
Entscheidungsbäume scheinen eine sehr verständliche Methode des maschinellen Lernens zu sein. Einmal erstellt, kann es leicht von einem Menschen inspiziert werden, was bei einigen Anwendungen von großem Vorteil ist. Was sind die praktischen Schwächen von
In einigen Quellen, einschließlich dieser , habe ich gelesen , dass Random Forests unempfindlich gegenüber Ausreißern sind (wie es beispielsweise bei Logistic Regression und anderen ML-Methoden der Fall ist). Zwei Teile der Intuition sagen mir jedoch etwas anderes: Bei jeder Erstellung eines...
Ich suche nach einer Erklärung, wie die relative variable Wichtigkeit in gradientenverstärkten Bäumen berechnet wird, die nicht allzu allgemein / simpel ist wie: Die Kennzahlen basieren auf der Häufigkeit, mit der eine Variable zum Teilen ausgewählt wurde, gewichtet durch die quadratische...
Was sind einige nützliche Richtlinien zum Testen von Parametern (z. B. Interaktionstiefe, Kind, Abtastrate usw.) mit GBM? Nehmen wir an, ich habe 70-100 Features, eine Bevölkerung von 200.000 und ich beabsichtige, die Interaktionstiefe von 3 und 4 zu testen. Natürlich muss ich einige Tests...
Wenn Sie ein CART-Modell (insbesondere einen Klassifizierungsbaum) mit rpart (in R) erstellen, ist es häufig interessant zu wissen, welche Bedeutung die verschiedenen Variablen haben, die in das Modell eingeführt werden. Meine Frage lautet daher: Welche gängigen Maße gibt es für das Ranking /...
Ich versuche zu verfolgen, wer die Datenstruktur und den Algorithmus des Entscheidungsbaums erfunden hat. Im Wikipedia-Eintrag zum Entscheidungsbaum-Lernen heißt es, dass "ID3 und CART ungefähr zur gleichen Zeit (zwischen 1970 und 1980) unabhängig voneinander erfunden wurden". ID3 wurde später...
Ich suche nach einer Alternative zu Klassifikationsbäumen, die eine bessere Vorhersagekraft bietet. Die Daten, mit denen ich mich befasse, haben Faktoren sowohl für die erklärenden als auch für die erklärenden Variablen. Ich erinnere mich, dass ich in diesem Zusammenhang auf zufällige Wälder und...
Ich führe mit SPSS eine Entscheidungsbaumklassifizierung für einen Datensatz mit etwa 20 Prädiktoren durch (kategorial mit wenigen Kategorien). CHAID (Chi-squared Automatic Interaction Detection) und CRT / CART (Classification And Regression Trees) geben mir verschiedene Bäume. Kann jemand die...
Fast jedes Entscheidungsbaum-Beispiel, auf das ich gestoßen bin, ist zufällig ein Binärbaum. Ist das so ziemlich universell? Unterstützen die meisten Standardalgorithmen (C4.5, CART usw.) nur binäre Bäume? Soweit ich weiß, ist CHAID nicht auf binäre Bäume beschränkt, aber das scheint eine Ausnahme...
Nach der Durchführung der Hauptkomponentenanalyse (PCA) möchte ich einen neuen Vektor auf den PCA-Raum projizieren (dh seine Koordinaten im PCA-Koordinatensystem finden). Ich habe PCA in R-Sprache mit berechnet prcomp. Jetzt sollte ich meinen Vektor mit der PCA-Rotationsmatrix multiplizieren...