Fast jedes Entscheidungsbaum-Beispiel, auf das ich gestoßen bin, ist zufällig ein Binärbaum. Ist das so ziemlich universell? Unterstützen die meisten Standardalgorithmen (C4.5, CART usw.) nur binäre Bäume? Soweit ich weiß, ist CHAID nicht auf binäre Bäume beschränkt, aber das scheint eine Ausnahme...
Nach der Durchführung der Hauptkomponentenanalyse (PCA) möchte ich einen neuen Vektor auf den PCA-Raum projizieren (dh seine Koordinaten im PCA-Koordinatensystem finden). Ich habe PCA in R-Sprache mit berechnet prcomp. Jetzt sollte ich meinen Vektor mit der PCA-Rotationsmatrix multiplizieren...
Ich habe einen Datensatz, der aus 5 Merkmalen besteht: A, B, C, D, E. Sie sind alle numerische Werte. Anstatt ein dichtebasiertes Clustering durchzuführen, möchte ich die Daten auf eine entscheidungsbaumartige Weise gruppieren. Der Ansatz, den ich meine, ist ungefähr so: Der Algorithmus kann die...
Ich bin kein Experte für zufällige Gesamtstrukturen, aber ich verstehe klar, dass das Hauptproblem bei zufälligen Gesamtstrukturen die (zufällige) Baumgenerierung ist. Können Sie mir erklären, wie die Bäume entstehen? (dh was ist die verwendete Verteilung für die Baumerzeugung?) Danke im Voraus !...
Entscheidungsstumpf ist ein Entscheidungsbaum mit nur einer Teilung. Es kann auch als stückweise Funktion geschrieben werden. Angenommen, ist ein Vektor und ist die erste Komponente von . Bei der Regressionseinstellung kann es sich um einen Entscheidungsstumpf handelnx 1 xxxxx1x1x_1xxx f( x ) = {...
Ich suche nach Artikeln oder Texten, die vergleichen und diskutieren (entweder empirisch oder theoretisch): Boosting- und Entscheidungsbaum- Algorithmen wie Random Forests oder AdaBoost und GentleBoost werden auf Entscheidungsbäume angewendet. mit Deep Learning Methoden wie Restricted Boltzmann...
Zufällige Wälder werden für die Regression verwendet. Soweit ich weiß, weisen sie jedoch jedem Blatt einen durchschnittlichen Zielwert zu. Da es in jedem Baum nur begrenzte Blätter gibt, gibt es nur bestimmte Werte, die das Ziel mit unserem Regressionsmodell erreichen kann. Ist es also nicht nur...
Was ist die VC-Dimension eines Entscheidungsbaums mit k Teilungen in zwei Dimensionen? Angenommen, das Modell ist CART und die einzigen zulässigen Teilungen verlaufen parallel zu den Achsen. Für eine Teilung können wir also 3 Punkte in einem Dreieck ordnen und dann für jede Beschriftung der Punkte...
Random Forests (RFs) ist eine wettbewerbsfähige Datenmodellierungs- / Miningmethode. Ein RF-Modell hat eine Ausgabe - die Ausgabe- / Vorhersagevariable. Der naive Ansatz zur Modellierung mehrerer Ausgänge mit RFs besteht darin, für jede Ausgangsvariable einen RF zu erstellen. Wir haben also N...
Was ist die Definition von "Feature Space"? Wenn ich zum Beispiel über SVMs lese, lese ich über "Zuordnung zu Feature-Space". Wenn ich über CART lese, lese ich über "Partitionierung, um Raum zu kennzeichnen". Ich verstehe, was gerade im WARENKORB vor sich geht, aber ich denke, dass es eine...
In der Routine rpart () zum Erstellen von CART-Modellen geben Sie den Komplexitätsparameter an, auf den Sie Ihren Baum beschneiden möchten. Ich habe zwei verschiedene Empfehlungen für die Auswahl des Komplexitätsparameters gesehen: Wählen Sie den Komplexitätsparameter aus, der mit dem minimal...
Es gibt viele Blog-Posts, YouTube-Videos usw. über die Idee , Bäume zu fangen oder zu vermehren . Mein allgemeines Verständnis ist, dass der Pseudocode für jedes ist: Absacken: Nehmen Sie N zufällige Stichproben von x% der Stichproben und y% der Merkmale Passen Sie Ihr Modell (z. B....
Es ist schon eine Weile her, dass ich mir das Teilen von Bäumen angesehen habe. Als ich das letzte Mal so etwas gemacht habe, mag ich Party in R (erstellt von Hothorn). Die Idee der bedingten Folgerung durch Stichproben ist für mich sinnvoll. Aber rpart hatte auch Anklang. In der aktuellen...
Eigentlich schreibe ich eine Implementierung von Random Forests, aber ich glaube, die Frage ist spezifisch für Entscheidungsbäume (unabhängig von RFs). Der Kontext ist also, dass ich einen Knoten in einem Entscheidungsbaum erstelle und sowohl die Vorhersage- als auch die Zielvariable...
Fragen Kommt es darauf an, ob der Baum flach oder tief ist? Oder können wir das unabhängig von der Tiefe / Höhe des Baumes sagen? Warum ist die Vorspannung niedrig und die Varianz hoch? Erklären Sie dies bitte intuitiv und
Angenommen , wir haben zwei Regressionsbäume (Baum A und B - Baum) , die Karteneingabe zur Ausgabe y ∈ R . Lassen y = f A ( x ) für Baum - A und f B ( x ) für Baum B. Jeder Baum binäre Splits verwendet, mit Hyperebenen wie die Trennfunktionen.x ∈ Rdx∈Rdx \in \mathbb{R}^dy^∈ Ry^∈R\hat{y} \in...
Ich arbeite an der Wichtigkeitsmessung des Gini-Features für zufällige Gesamtstrukturen. Daher muss ich die Gini-Abnahme der Knotenverunreinigung berechnen. So mache ich das, was zu einem Konflikt mit der Definition führt und andeutet, dass ich mich irgendwo irren muss ... :) Für einen binären...
Da der Entscheidungsbaumalgorithmus bei jedem Schritt ein Attribut aufteilt, entspricht die maximale Tiefe eines Entscheidungsbaums der Anzahl der Attribute der Daten. Ist das
Ein Kollege in meinem Büro sagte mir heute: "Baummodelle sind nicht gut, weil sie von extremen Beobachtungen erfasst werden." Eine Suche hier ergab diesen Thread , der im Grunde den Anspruch unterstützt. Was mich zu der Frage führt: In welcher Situation kann ein CART-Modell robust sein und wie...
Kurzversion: Ich suche ein R-Paket, das Entscheidungsbäume erstellen kann, während jedes Blatt im Entscheidungsbaum ein vollständiges lineares Regressionsmodell ist. AFAIK, die Bibliothek rparterstellt Entscheidungsbäume, in denen die abhängige Variable in jedem Blatt konstant ist. Gibt es eine...