Statistiken und Big Data boosting

1

Additive Verzerrung in xgboost (und deren Korrektur?)

Ich nehme gerade an einem Wettbewerb teil. Ich weiß, dass es meine Aufgabe ist, das gut zu machen, aber vielleicht möchte jemand mein Problem und seine Lösung hier diskutieren, da dies auch für andere auf ihrem Gebiet hilfreich sein könnte. Ich habe ein xgboost-Modell trainiert (ein baumbasiertes Modell und ein …

9 machine-learning boosting overfitting bias-correction

1

Kann ich viele Bäume mit Gradientenverstärkung mithilfe der Absacktechnik kombinieren?

Basierend auf Gradient Boosting Tree vs Random Forest . GBDT und RF verwenden unterschiedliche Strategien, um Verzerrung und Varianz zu bekämpfen. Meine Frage ist, ob ich einen Datensatz (mit Ersatz) erneut abtasten kann, um mehrere GBDT zu trainieren und ihre Vorhersagen als Endergebnis zu kombinieren. Es ist gleichbedeutend damit, eine …

8 random-forest cart boosting bagging gradient

2

Verwenden Boosting-Techniken Abstimmungen wie jede andere Ensemble-Methode?

Können wir alle Ensemblemethoden durch Abstimmung verallgemeinern? Verwenden Boosting-Methoden auch Abstimmungen, um die schwachen Lernenden in das endgültige Modell zu bringen? Mein Verständnis der Technik: Boosting: Fügt kontinuierlich schwache Lernende hinzu, um die Datenpunkte zu verbessern, die nicht korrekt klassifiziert wurden. Ensemble-Technik: Verwendet mehrere Lernende, um eine bessere Vorhersage zu …

8 machine-learning boosting ensemble gbm voting-system

2

Wie kann eine geringere Lernrate die Leistung eines GBM beeinträchtigen?

Ich habe mich immer der Volksweisheit angeschlossen, dass das Verringern der Lernrate in einem GBM (Gradient Boosted Tree Model) die Out-of-Sample-Leistung des Modells nicht beeinträchtigt. Heute bin ich mir nicht so sicher. Ich passe Modelle (Minimierung der Summe der quadratischen Fehler) an den Boston-Gehäusedatensatz an . Hier ist eine Darstellung …

8 machine-learning boosting out-of-sample

2

Basisklassifikatoren zum Boosten

Boosting-Algorithmen wie AdaBoost kombinieren mehrere "schwache" Klassifikatoren zu einem einzigen stärkeren Klassifikator. Obwohl theoretisch ein Boosting mit jedem Basisklassifikator möglich sein sollte, scheinen in der Praxis baumbasierte Klassifikatoren am häufigsten zu sein. Warum ist das? Welche Eigenschaften von Baumklassifikatoren machen sie für diese Aufgabe am besten geeignet? Gibt es noch …

8 machine-learning boosting ensemble

2

Ist es möglich, Vorhersagen zu kombinieren, um die Gesamtqualität der Vorhersagen zu verbessern?

Dies ist ein binäres Klassifizierungsproblem. Die Metrik, die minimiert wird, ist der Protokollverlust (oder die Kreuzentropie). Ich habe auch eine Genauigkeitsnummer, nur zu meiner Information. Es ist ein großer, sehr ausgewogener Datensatz. Sehr naive Vorhersagetechniken erzielen eine Genauigkeit von etwa 50% und einen logarithmischen Verlust von 0,693. Das Beste, was …

7 machine-learning prediction boosting

4

Gradientenverstärkung - extreme Vorhersagen gegenüber Vorhersagen nahe 0,5

Angenommen, Sie trainieren zwei verschiedene Gradient Boosting Classifier-Modelle für zwei verschiedene Datensätze. Sie verwenden eine einmalige Kreuzvalidierung und zeichnen die Histogramme der Vorhersagen auf, die die beiden Modelle ausgeben. Die Histogramme sehen folgendermaßen aus: und das: In einem Fall sind die Vorhersagen (für Sätze außerhalb der Stichprobe / Validierung) meist …

7 classification cart boosting xgboost

1

XG Boost gegen Random Forest für die Vorhersage von Zeitreihen-Regressionen

Ich verwende Rs Implementierung von XGboost und Random Forest, um Prognosen für den Umsatz für einen Tag im Voraus zu erstellen. Ich habe ungefähr 200 Zeilen und 50 Prädiktoren. (Wenn ich mit der Zeit weiter gehe, habe ich mehr Daten, also mehr Zeilen). Das XGBoost-Modell mit den folgenden Parametern ist …

7 regression machine-learning time-series random-forest boosting

Als «boosting» getaggte Fragen