Zufällige Wälder für multivariate Regression

23

Ich habe ein Multi-Output-Regressionsproblem mit Eingabe-Features und Ausgaben. Die Ausgänge haben eine komplexe, nichtlineare Korrelationsstruktur.d ydxdy

Ich möchte zufällige Wälder verwenden, um die Regression durchzuführen. Zufällige Wälder für die Regression funktionieren, soweit ich das beurteilen kann, nur mit einer einzigen Ausgabe, daher müsste ich d_ydy zufällige Wälder trainieren - eine für jede Ausgabe. Dies ignoriert ihre Korrelationen.

Gibt es eine Erweiterung für zufällige Gesamtstrukturen, die Ausgabekorrelationen berücksichtigt? Vielleicht so etwas wie eine Gaußsche Prozessregression für das Lernen mit mehreren Aufgaben .

regression multivariate-analysis random-forest sergeyf
quelle
4
Folgendes
sergeyf
1
sicher. Ich habe hochdimensionale "Bilder" (eigentlich dI / dV-Spektren) von Peptiden. Das Ziel ist es, die Positionen und Klassen der Aminosäuren herauszufinden, aus denen das Peptid besteht. Mein erster Ansatz war die Bildsegmentierung, aber CRFs und pixelweise zufällige Gesamtstrukturen scheiterten. Anstatt zu sagen, dass jedes Pixel zu einer & nur einer Aminosäure gehört (nicht wirklich wahr), ordne ich jedem Pixel einen relativen "Einfluss" -Wert von nahegelegenen Aminosäuren zu. Dies führt zu einem dy dimensionalen Histogramm für jedes Pixel. daher mehrfache Ausgaberegression!
Sergeyf
1
Es könnte sich um eine verspätete Antwort handeln: In Crimisini et al. Entscheidungswälder: Ein einheitlicher Rahmen für die Klassifizierung, Regression, Dichteschätzung und das vielfältige Lernen, wie sie RF auf eine Weise verwenden, die für die Identifizierung von Organgrenzen geeignet ist.
Simone
4
Dies könnte auch zu spät sein, aber es könnte jedem helfen, über diesen Beitrag zu stolpern. Random Forest kann einfach mit multivariaten Daten trainiert werden. Alles geschieht auf die gleiche Weise, jedoch verwenden wir anstelle der Varianz für die Berechnung des Informationsgewinns die Kovarianz der mehreren Ausgabevariablen. Und was noch wichtiger ist, die Blätter enthalten jetzt N-dimensionale PDFs.
Masad
1
Ich weiß nicht, dass die RF "Dies ignoriert ihre Korrelationen". In Anbetracht der Gesamtheit der RF, denke ich, könnten sie für die Korrelationen verantwortlich sein. Wenn sie univariate Eingaben machen und univariate Ausgaben machen würden, würden sie keine Korrelationen berücksichtigen.
EngrStudent

Antworten: