Nur um Yuqians Antwort etwas zu erläutern. Die Idee hinter dem Absacken ist, dass Sie, wenn Sie mit einer nichtparametrischen Regressionsmethode (normalerweise Regressions- oder Klassifikationsbäume, die jedoch nahezu jede nichtparametrische Methode sein kann) ÜBERFERTIGEN, dazu neigen, den Teil der Verzerrung mit hoher Varianz und ohne (oder mit geringer) Verzerrung zu wählen / Varianz Kompromiss. Dies liegt daran, dass ein Überpassungsmodell sehr flexibel ist (so wenig Verzerrung bei vielen Resamples aus derselben Population, wenn diese verfügbar waren), aber eine hohe Variabilität aufweist (wenn ich eine Stichprobe sammle und überpasse und Sie eine Stichprobe sammle und überpasse) Die Ergebnisse sind unterschiedlich, da die nichtparametrische Regression das Rauschen in den Daten verfolgt. Was können wir tun? Wir können viele Resamples (aus dem Bootstrapping) nehmen, die jeweils überpassend sind, und sie zusammen mitteln. Dies sollte zu derselben Verzerrung (niedrig) führen, aber einen Teil der Varianz ausgleichen.
Gradient Boosting funktioniert im Kern mit nichtparametrischen UNDERFIT-Regressionen, die zu einfach sind und daher nicht flexibel genug, um die tatsächliche Beziehung in den Daten zu beschreiben (dh voreingenommen), aber aufgrund der mangelnden Anpassung eine geringe Varianz aufweisen (Sie würden dazu tendieren) um dasselbe Ergebnis zu erzielen, wenn Sie neue Datensätze sammeln). Wie korrigieren Sie das? Grundsätzlich enthalten die RESIDUALS Ihres Modells, wenn Sie nicht fit sind, noch nützliche Strukturen (Informationen über die Population), sodass Sie den Baum, den Sie haben (oder einen beliebigen nichtparametrischen Prädiktor), mit einem Baum erweitern, der auf den Residuen aufgebaut ist. Dies sollte flexibler sein als der ursprüngliche Baum. Sie generieren wiederholt mehr und mehr Bäume, jeweils in Schritt k, ergänzt durch einen gewichteten Baum, der auf einem Baum basiert, der an die Residuen aus Schritt k-1 angepasst ist. Einer dieser Bäume sollte optimal sein, Am Ende gewichten Sie entweder alle diese Bäume zusammen oder wählen einen Baum aus, der am besten zu Ihnen passt. Daher ist Gradienten-Boosting eine Möglichkeit, eine Reihe flexiblerer Kandidatenbäume zu erstellen.
Wie bei allen nichtparametrischen Regressions- oder Klassifizierungsansätzen funktioniert das Absacken oder Boosten manchmal hervorragend, manchmal ist der eine oder andere Ansatz mittelmäßig, und manchmal stürzt der eine oder andere Ansatz (oder beide) ab und brennt.
Beide Techniken können auch auf andere Regressionsansätze als Bäume angewendet werden, sie werden jedoch am häufigsten mit Bäumen in Verbindung gebracht, möglicherweise weil es schwierig ist, Parameter festzulegen, um eine Unteranpassung oder Überanpassung zu vermeiden.
