Ich bin kein Experte für zufällige Gesamtstrukturen, aber ich verstehe klar, dass das Hauptproblem bei zufälligen Gesamtstrukturen die (zufällige) Baumgenerierung ist. Können Sie mir erklären, wie die Bäume entstehen? (dh was ist die verwendete Verteilung für die Baumerzeugung?)
Danke im Voraus !
Antworten:
Die Implementierungen von RF unterscheiden sich geringfügig. Ich weiß, dass die proprietäre Implementierung von Salford Systems besser sein soll als die von Vanilla in R. Eine Beschreibung des Algorithmus findet sich in ESL von Friedman-Hastie-Tibshirani, 2. Aufl., 3. Druck . Ein ganzes Kapitel (15.) ist RF gewidmet, und ich finde es tatsächlich klarer als das Originalpapier. Der Baumkonstruktionsalgorithmus wird auf S.588 detailliert beschrieben. Ich muss es hier nicht reproduzieren, da das Buch online verfügbar ist.
Die Hauptidee ist das Absacken der Bäume. Im Einzelnen basiert jeder Baum auf einer Stichprobe von Objekten, die als Ersatz aus dem ursprünglichen Satz gezogen wurden. Somit hat jeder Baum einige Objekte, die er nicht gesehen hat, was das gesamte Ensemble heterogener und damit allgemeiner macht.
Außerdem werden Bäume so geschwächt, dass bei jeder Teilung nur M (oder mtry) zufällig ausgewählte Attribute berücksichtigt werden; M ist normalerweise eine Quadratwurzel der Anzahl der Attribute in der Menge. Dies stellt sicher, dass die Bäume weniger überpasst werden, da sie nicht beschnitten werden. Weitere Details finden Sie hier .
Auf der anderen Seite gibt es eine Variante von RF genannt Extremem Zufall Wald, in denen Bäume in zufälliger Art und Weise hergestellt werden (es gibt keine Optimierung von Splits) - konsultieren, ich denke , diese Referenz .