Zufällige Wälder für multivariate Regression

Ich habe ein Multi-Output-Regressionsproblem mit Eingabe-Features und Ausgaben. Die Ausgänge haben eine komplexe, nichtlineare Korrelationsstruktur. $d_x$ $d_y$

Ich möchte zufällige Wälder verwenden, um die Regression durchzuführen. Zufällige Wälder für die Regression funktionieren, soweit ich das kann, nur mit einer einzigen Ausgabe, daher müsste ich $d_y$ zufällige Wälder trainieren - eine für jede Ausgabe. Dies ignoriert ihre Korrelationen.

Gibt es eine Erweiterung für zufällige Gesamtstrukturen, die Ausgabekorrelationen berücksichtigt? Vielleicht so etwas wie eine Gaußsche Prozessregression für das Lernen mit mehreren Aufgaben .

regression multivariate-analysis random-forest

— sergeyf
quelle

Folgendes

— sergeyf

sicher. Ich habe hochdimensionale "Bilder" (eigentlich dI / dV-Spektren) von Peptiden. Das Ziel ist es, die Positionen und Klassen der Aminosäuren herauszufinden, aus denen das Peptid besteht. Mein erster Ansatz war die Bildsegmentierung, aber CRFs und pixelweise zufällige Gesamtstrukturen scheiterten. Anstatt zu sagen, dass jedes Pixel zu einer & nur einer Aminosäure gehört (nicht wirklich wahr), ordne ich jedem Pixel einen relativen "Einfluss" -Wert von nahegelegenen Aminosäuren zu. Dies führt zu einem

d_{y}

$d_y$ dimensionalen Histogramm für jedes Pixel. daher mehrfache Ausgaberegression!

— Sergeyf

Es könnte sich um eine verspätete Antwort handeln: In Crimisini et al. Entscheidungswälder: Ein einheitlicher Rahmen für die Klassifizierung, Regression, Dichteschätzung und das vielfältige Lernen, wie sie RF auf eine Weise verwenden, die für die Identifizierung von Organgrenzen geeignet ist.

— Simone

Dies könnte auch zu spät sein, aber es könnte jedem helfen, über diesen Beitrag zu stolpern. Random Forest kann einfach mit multivariaten Daten trainiert werden. Alles geschieht auf die gleiche Weise, jedoch verwenden wir anstelle der Varianz für die Berechnung des Informationsgewinns die Kovarianz der mehreren Ausgabevariablen. Und was noch wichtiger ist, die Blätter enthalten jetzt N-dimensionale PDFs.

— Masad

Ich weiß nicht, dass die RF "Dies ignoriert ihre Korrelationen". In Anbetracht der Gesamtheit der RF, denke ich, könnten sie für die Korrelationen verantwortlich sein. Wenn sie univariate Eingaben machen und univariate Ausgaben machen würden, würden sie keine Korrelationen berücksichtigen.

— EngrStudent

Hier ist ein Beispiel für ein Problem der Regression mit mehreren Ausgängen, das bei der Gesichtserkennung auftritt. Es enthält auch ein Codierungsbeispiel, das Ihnen einen ersten Einblick in Ihre Methodik geben soll. http://scikit-learn.org/stable/auto_examples/plot_multioutput_face_completion.html

— orange1
quelle

Speziell dafür gibt es ein neues Paket (nicht persönlich getestet)

https://cran.r-project.org/package=MultivariateRandomForest

— MM
quelle