Inwiefern unterscheidet sich ein extrem zufälliger Wald von einem zufälligen Wald?


18

Ist die Umsetzung von ER effizienter (ähnlich Extreme Gradient Boostingwie die Steigerung des Gradienten) - ist der Unterschied aus praktischer Sicht wichtig? Es gibt ein R-Paket, das sie implementiert. Ist es ein neuer Algorithmus, der die "generische" Implementierung (RandomForest-Paket von R) nicht nur hinsichtlich der Effizienz oder auch in einigen anderen Bereichen überwindet?

Extreme Random Forest http://link.springer.com/article/10.1007%2Fs10994-006-6226-1

Antworten:


20

Dies ist ziemlich einfach - RF optimiert Aufteilungen an Bäumen (dh wählt diejenigen aus, die den besten Informationsgewinn in Bezug auf die Entscheidung bieten) und ERF macht sie nach dem Zufallsprinzip. Jetzt,

  • Optimierungskosten (nicht viel, aber immer noch), daher ist der ERF normalerweise schneller.
  • Die Optimierung kann zur Korrelation von Bäumen im Ensemble oder zur Gesamtüberanpassung beitragen, sodass ERFs wahrscheinlich robuster sind, insbesondere wenn das Signal schwach ist.

Wenn Sie noch weiter in diese Richtung gehen, können Sie zusätzliche Geschwindigkeit erzielen, indem Sie die Teilungen auf jeder Baumebene ausgleichen und auf diese Weise Bäume in Farne verwandeln , die ebenfalls sehr interessant sind. Es gibt meine R-Implementierung eines solchen Individuums.


Diese Verbindung ist unterbrochen. Verwenden Sie CVLAB: Ferns
smci

Ich nehme an, dass von ERF erstellte Bäume viel größer sind als die von RF, da RF eine Optimierung verwendet, die das Wissen aus dem Datensatz auf kleinere Bäume komprimiert
Qbik
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.