Können Regressionsbäume kontinuierlich vorhersagen?

Angenommen, ich habe eine glatte Funktion wie . Ich habe einen Trainingssatz D \ subsetneq \ {((x, y), f (x, y)) | (x, y) \ in \ mathbb {R} ^ 2 \} und, natürlich, ich weiß nicht , f obwohl ich beurteilen kann f wohin ich will.$f(x, y) = x^2+y^2$$D \subsetneq \{((x, y), f(x,y)) | (x,y) \in \mathbb{R}^2\}$$f$$f$

Sind Regressionsbäume in der Lage, ein glattes Modell der Funktion zu finden (daher sollte eine geringfügige Änderung der Eingabe nur eine geringfügige Änderung der Ausgabe ergeben)?

Nach dem, was ich in Vorlesung 10: Regressionsbäume gelesen habe, scheint es mir, dass Regressionsbäume die Funktionswerte grundsätzlich in Bins einteilen:

Für klassische Regressionsbäume ist das Modell in jeder Zelle nur eine konstante Schätzung von Y.

Während sie "klassisch" schreiben, gibt es wohl eine Variante, bei der die Zellen etwas Interessanteres tun?

Regressionsbäume, insbesondere die Erhöhung des Gradienten (im Wesentlichen viele Bäume), eignen sich sehr gut für kontinuierliche Vorhersagen und übertreffen häufig Modelle, die wie lineare Regression wirklich kontinuierlich sind, wenn. Dies gilt insbesondere dann, wenn es variable Interaktionen gibt und wenn Sie über einen ausreichend großen Datensatz (über 10.000 Datensätze) verfügen, sodass eine Überanpassung weniger wahrscheinlich ist. Wenn Ihr primäres Ziel einfach die Vorhersagekraft ist, sollte es irrelevant sein, ob das Modell zu 100% kontinuierlich oder pseudokontinuierlich ist. Wenn Ihre Regressionsbäume durch die Vorhersagekraft der Stichprobe kontinuierlicher werden, können Sie einfach die Baumtiefe erhöhen oder weitere Bäume hinzufügen.

In klassischen Regressionsbäumen haben Sie einen Wert im Blatt, aber im Blatt können Sie ein lineares Regressionsmodell haben. Überprüfen Sie dieses Ticket.

Sie können auch ein Baumensemble (Random Forest oder Gradient Boosting Machines) verwenden, um einen kontinuierlichen Ausgabewert zu erhalten.

Wenn Sie die Frage geringfügig um allgemeine Techniken zur Erhöhung des Gradienten erweitern (im Gegensatz zum Sonderfall der verstärkten Regressionsbäume), lautet die Antwort Ja. Die Gradientenverstärkung wurde erfolgreich als Alternative für die Variablenauswahl eingesetzt. Ein gutes Beispiel ist das mboost-Paket . Der Schlüssel ist, dass die Klasse der Basislerner, die zum Boosten verwendet werden, zunächst aus kontinuierlichen Modellen besteht. Dieses Tutorial beschreibt typische Klassen von Basislernenden wie folgt:

Die häufig verwendeten Modelle für Basislerner können in drei verschiedene Kategorien eingeteilt werden: lineare Modelle, glatte Modelle und Entscheidungsbäume. Es gibt auch eine Reihe anderer Modelle, wie Markov-Zufallsfelder (Dietterich et al., 2004) oder Wavelets (Viola und Jones, 2001), aber ihre Anwendung ergibt sich für relativ spezifische praktische Aufgaben.

Beachten Sie, dass Wavelets besonders erwähnt werden. Bäume und Wavelets wurden bereits erfolgreich zu baumbasierten Wavelets kombiniert .