Ich kam durch mehrere Posts und Papiere, in denen behauptet wurde, dass das Beschneiden von Bäumen in einem "Absack" -Baumensemble nicht erforderlich ist (siehe 1 ).
Ist es jedoch notwendigerweise (oder zumindest in einigen bekannten Fällen) schädlich, die einzelnen Bäume in einem Ensemble zu beschneiden (z. B. mit der OOB-Probe)?
Vielen Dank!
Antworten:
Tal,
Im Allgemeinen beeinträchtigt das Beschneiden die Leistung von eingepackten Bäumen.
Tress sind instabile Klassifikatoren; Dies bedeutet, dass sich der Baum erheblich ändern kann, wenn Sie die Daten ein wenig stören. Sie sind Modelle mit geringer Vorspannung, aber hoher Varianz. Beim Absacken wird das Modell im Allgemeinen "repliziert", um die Varianz zu verringern (der alte Trick "Erhöhen Sie Ihre Stichprobengröße").
Wenn Sie jedoch am Ende Modelle erstellen, die sehr ähnlich sind, gewinnen Sie nicht viel. Wenn die Bäume nicht beschnitten sind, unterscheiden sie sich tendenziell stärker voneinander als wenn sie beschnitten wurden. Dies hat den Effekt, dass die Bäume "dekorreliert" werden, so dass Sie Bäume mitteln, die nicht übermäßig ähnlich sind. Dies ist auch der Grund, warum zufällige Gesamtstrukturen die zusätzliche Optimierung der zufälligen Prädiktorauswahl hinzufügen. Das zwingt die Bäume dazu, ganz anders zu sein.
Die Verwendung von unbeschnittenen Bäumen erhöht das Risiko einer Überanpassung, aber die Modellmittelung gleicht dies mehr als aus (im Allgemeinen).
HTH,
Max