Als «boosting» getaggte Fragen

Was sind die Gemeinsamkeiten und Unterschiede zwischen diesen 3 Methoden: Absacken, Erhöhen, Stapeln? Welches ist das beste? Und warum? Kannst du mir für jeden ein Beispiel geben?

245 machine-learning  boosting  ensemble  bagging  model-averaging 

Die von Friedman vorgeschlagene Gradientenbaumverstärkung verwendet Entscheidungsbäume als Basislerner. Ich frage mich, ob wir den Basisentscheidungsbaum so komplex wie möglich (ausgewachsen) oder einfacher gestalten sollen. Gibt es eine Erklärung für die Wahl? Random Forest ist eine weitere Ensemblemethode, bei der Entscheidungsbäume als Basislerner verwendet werden. Nach meinem Verständnis verwenden wir …

110 machine-learning  random-forest  cart  boosting  ensemble 

Ich habe klassenunausgeglichene Daten und möchte die Hyperparameter der verstärkten Locke mit xgboost optimieren. Fragen Gibt es für xgboost ein Äquivalent zu gridsearchcv oder randomsearchcv? Wenn nicht, was ist der empfohlene Ansatz, um die Parameter von xgboost zu optimieren?

68 machine-learning  cross-validation  xgboost  boosting 

Kurzdefinition von Boosten : Können schwache Lernende einen einzigen starken Lernenden hervorbringen? Ein schwacher Lernender wird definiert als ein Klassifikator, der nur geringfügig mit der wahren Klassifikation korreliert (er kann Beispiele besser kennzeichnen als zufälliges Erraten). Kurzdefinition von Random Forest : Random Forests lässt viele Klassifizierungsbäume wachsen. Um ein neues …

51 machine-learning  random-forest  boosting  bagging 

Ich versuche die Unterschiede zwischen GBM und Adaboost zu verstehen. Folgendes habe ich bisher verstanden: Es gibt beide Boosting-Algorithmen, die aus den Fehlern des Vorgängermodells lernen und schließlich eine gewichtete Summe der Modelle bilden. GBM und Adaboost sind sich bis auf ihre Verlustfunktionen ziemlich ähnlich. Trotzdem fällt es mir schwer, …

48 boosting  gbm  adaboost 

Beim Erlernen von Gradient Boosting sind mir keine Einschränkungen in Bezug auf die Eigenschaften eines "schwachen Klassifikators" bekannt, mit dem die Methode ein Modell erstellt und zusammensetzt. Ich konnte mir jedoch keine Anwendung eines GB vorstellen, bei der lineare Regression verwendet wird, und tatsächlich funktioniert dies nicht, wenn ich einige …

35 regression  machine-learning  boosting  ensemble  gradient 

Ich verfolge schon seit langer Zeit Kaggle-Wettbewerbe und stelle fest, dass viele Gewinnstrategien mindestens einen der "großen Dreier" beinhalten: Absacken, Boosten und Stapeln. Bei Regressionen scheint es nicht sinnvoll zu sein, ein bestmögliches Regressionsmodell zu erstellen, sondern mehrere Regressionsmodelle wie (verallgemeinerte) lineare Regression, Zufallswald-, KNN-, NN- und SVM-Regressionsmodelle zu erstellen …

33 predictive-models  boosting  bagging  stacking  model-averaging 

Es gibt verschiedene Implementierungen der GBDT-Modellfamilie, wie z. GBM XGBoost LightGBM Catboost. Was sind die mathematischen Unterschiede zwischen diesen verschiedenen Implementierungen? Catboost scheint die anderen Implementierungen zu übertreffen, selbst wenn nur die Standardparameter gemäß dieser Benchmark verwendet werden , aber es ist immer noch sehr langsam. Ich vermute, dass catboost …

33 boosting  xgboost 

Ich suche nach einer Erklärung, wie die relative variable Wichtigkeit in gradientenverstärkten Bäumen berechnet wird, die nicht allzu allgemein / simpel ist wie: Die Kennzahlen basieren auf der Häufigkeit, mit der eine Variable zum Teilen ausgewählt wurde, gewichtet durch die quadratische Verbesserung des Modells als Ergebnis jeder Teilung und gemittelt …

33 machine-learning  data-mining  predictive-models  cart  boosting 

Was sind einige nützliche Richtlinien zum Testen von Parametern (z. B. Interaktionstiefe, Kind, Abtastrate usw.) mit GBM? Nehmen wir an, ich habe 70-100 Features, eine Bevölkerung von 200.000 und ich beabsichtige, die Interaktionstiefe von 3 und 4 zu testen. Natürlich muss ich einige Tests durchführen, um zu sehen, welche Parameterkombination …

31 r  hypothesis-testing  cart  boosting 

Ich hatte eine Frage zum Interaktionstiefenparameter in gbm in R. Dies mag eine Noob-Frage sein, für die ich mich entschuldige, aber wie zeigt der Parameter, von dem ich glaube, dass er die Anzahl der Endknoten in einem Baum angibt, im Grunde genommen X-way an Interaktion zwischen den Prädiktoren? Ich versuche …

30 r  machine-learning  boosting  gbm 

Nehmen Sie als Beispiel die objektive Funktion des XGBoost-Modells in der ttt -ten Iteration: L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) where ℓℓ\ell is the loss function, ftftf_t is the ttt'th tree output and ΩΩ\Omega is the regularization. One of the (many) key steps for fast calculation is the approximation: L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), where gigig_i and hihih_i …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Siehe auch eine ähnliche Frage zu stats.SE . Bei Boosting- Algorithmen wie AdaBoost und LPBoost ist bekannt, dass die zu kombinierenden "schwachen" Lernenden nur bessere Leistungen erbringen müssen als der Zufall, um nützlich zu sein. Die verwendeten Klassifizierer können schwach sein (dh eine erhebliche Fehlerrate aufweisen), aber solange ihre Leistung …

28 machine-learning  theory  boosting 

Was ist der einfachste Weg, Boosten zu verstehen? Warum werden sehr schwache Klassifikatoren nicht auf "unendlich" angehoben (Perfektion)?

23 machine-learning  boosting 

Ich habe einige eng verwandte Fragen zu schwachen Lernenden im Ensemble-Lernen (z. B. Boosten). Das hört sich vielleicht dumm an, aber was sind die Vorteile von schwachen Lernenden gegenüber starken Lernenden? (zB warum nicht mit "starken" Lernmethoden aufladen?) Gibt es eine Art "optimale" Stärke für die schwachen Lernenden (z. B. …

22 machine-learning  boosting  ensemble