Als «boosting» getaggte Fragen

Eine Familie von Algorithmen, die schwach prädiktive Modelle zu einem stark prädiktiven Modell kombinieren. Der gebräuchlichste Ansatz wird als Gradientenverstärkung bezeichnet, und die am häufigsten verwendeten schwachen Modelle sind Klassifizierungs- / Regressionsbäume.

4
Die Maschinengenauigkeit zur Steigerung des Gradienten nimmt mit zunehmender Anzahl von Iterationen ab
Ich experimentiere mit dem Algorithmus der Gradientenverstärkungsmaschine über das caretPaket in R. Unter Verwendung eines kleinen Datensatzes für Hochschulzulassungen habe ich den folgenden Code ausgeführt: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting …
15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 
1
Wann möchte man AdaBoost nutzen?
Da ich von dem AdaBoost-Klassifikator gehört habe, der bei der Arbeit wiederholt erwähnt wurde, wollte ich ein besseres Gefühl dafür bekommen, wie es funktioniert und wann man es verwenden möchte. Ich habe eine Reihe von Artikeln und Tutorials darüber gelesen, die ich bei Google gefunden habe, aber es gibt Aspekte …
3
Sind Random Forest und Boosting parametrisch oder nicht parametrisch?
Durch Lesen der hervorragenden statistischen Modellierung: Die beiden Kulturen (Breiman 2001) können wir den Unterschied zwischen traditionellen statistischen Modellen (z. B. lineare Regression) und Algorithmen für maschinelles Lernen (z. B. Bagging, Random Forest, Boosted trees ...) erfassen. Breiman kritisiert Datenmodelle (parametrisch), weil sie auf der Annahme beruhen, dass die Beobachtungen …
1
Warum nicht immer Ensemble-Lernen verwenden?
Es scheint mir, dass das Lernen von Ensembles immer eine bessere Prognoseleistung liefert als mit nur einer einzelnen Lernhypothese. Also, warum benutzen wir sie nicht die ganze Zeit? Meine Vermutung liegt vielleicht an Recheneinschränkungen? (Selbst dann verwenden wir schwache Prädiktoren, also weiß ich es nicht).
9
Mehr Entscheidungsbäume in Python? [geschlossen]
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 4 Monaten . Gibt es eine gute Python-Bibliothek zum Trainieren von Boosted Decision Trees?
13 python  cart  boosting 
2
Best Practices für die Codierung kategorialer Funktionen für Entscheidungsbäume?
Bei der Codierung kategorialer Merkmale für die lineare Regression gilt die Regel: Die Anzahl der Dummies sollte eins weniger sein als die Gesamtzahl der Ebenen (um Kollinearität zu vermeiden). Gibt es eine ähnliche Regel für Entscheidungsbäume (eingesackt, verstärkt)? Ich frage dies, weil eine Standardpraxis in Python darin zu bestehen scheint, …
5
Ist automatisiertes maschinelles Lernen ein Traum?
Wenn ich maschinelles Lernen entdecke, sehe ich verschiedene interessante Techniken wie: automatisch tune Algorithmen mit Techniken wie grid search, Erhalten Sie genauere Ergebnisse durch die Kombination verschiedener Algorithmen desselben "Typs" boosting. Erhalten Sie genauere Ergebnisse durch die Kombination verschiedener Algorithmen (aber nicht derselben Art von Algorithmen) stacking. und wahrscheinlich noch …
3
Warum ist die Boosting-Methode empfindlich gegenüber Ausreißern?
Ich habe viele Artikel gefunden, die besagen, dass Boosting-Methoden empfindlich gegenüber Ausreißern sind, aber keinen Artikel, der erklärt, warum. Meiner Erfahrung nach sind Ausreißer für jeden Algorithmus für maschinelles Lernen schlecht, aber warum werden Boosting-Methoden als besonders empfindlich eingestuft? Wie würden die folgenden Algorithmen in Bezug auf die Empfindlichkeit gegenüber …
2
Verwenden von Adaboost mit SVM zur Klassifizierung
Ich weiß, dass Adaboost versucht, einen starken Klassifikator unter Verwendung einer linearen Kombination einer Reihe schwacher Klassifikatoren zu erzeugen. Ich habe jedoch einige Artikel gelesen, in denen darauf hingewiesen wird, dass Adaboost und SVMs unter bestimmten Bedingungen und in bestimmten Fällen harmonisch funktionieren (obwohl SVM ein starker Klassifikator ist) . …
1
Scikit Binomial Deviance Loss-Funktion
Dies ist die Binomial-Deviance-Loss-Funktion von scikit GradientBoosting. def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: return (-2.0 / sample_weight.sum() * …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.