Statistiken und Big Data boosting

2

Vor kurzem habe ich mich mit dem Erlernen von Boosting-Algorithmen wie Adaboost und Gradienten-Boost befasst, und ich kenne die Tatsache, dass der am häufigsten verwendete schwache Lernende Bäume sind. Ich möchte wirklich wissen, ob es in letzter Zeit einige erfolgreiche Beispiele (ich meine einige Artikel oder Artikel) für die Verwendung …

21 neural-networks deep-learning boosting ensemble dropout

4

"Teilüberwachtes Lernen" - ist das übertrieben?

Ich las den Bericht über die Siegerlösung eines Kaggle-Wettbewerbs ( Malware Classification ). Der Bericht ist in diesem Forumsbeitrag zu finden . Das Problem war ein Klassifizierungsproblem (neun Klassen, die Metrik war der logarithmische Verlust) mit 10000 Elementen in der Zugmenge, 10000 Elementen in der Testmenge. Während des Wettbewerbs wurden …

21 machine-learning random-forest boosting overfitting semi-supervised

4

Wie projiziert man einen neuen Vektor auf den PCA-Raum?

Nach der Durchführung der Hauptkomponentenanalyse (PCA) möchte ich einen neuen Vektor auf den PCA-Raum projizieren (dh seine Koordinaten im PCA-Koordinatensystem finden). Ich habe PCA in R-Sprache mit berechnet prcomp. Jetzt sollte ich meinen Vektor mit der PCA-Rotationsmatrix multiplizieren können. Sollen die Hauptkomponenten in dieser Matrix in Zeilen oder Spalten angeordnet …

21 r pca r variance heteroscedasticity misspecification distributions time-series data-visualization modeling histogram kolmogorov-smirnov negative-binomial likelihood-ratio econometrics panel-data categorical-data scales survey distributions pdf histogram correlation algorithms r gpu parallel-computing approximation mean median references sample-size normality-assumption central-limit-theorem rule-of-thumb confidence-interval estimation mixed-model psychometrics random-effects-model hypothesis-testing sample-size dataset large-data regression standard-deviation variance approximation hypothesis-testing variance central-limit-theorem kernel-trick kernel-smoothing error sampling hypothesis-testing normality-assumption philosophical confidence-interval modeling model-selection experiment-design hypothesis-testing statistical-significance power asymptotics information-retrieval anova multiple-comparisons ancova classification clustering factor-analysis psychometrics r sampling expectation-maximization markov-process r data-visualization correlation regression statistical-significance degrees-of-freedom experiment-design r regression curve-fitting change-point loess machine-learning classification self-study monte-carlo markov-process references mathematical-statistics data-visualization python cart boosting regression classification robust cart survey binomial psychometrics likert psychology asymptotics multinomial

2

Ist AdaBoost weniger oder anfälliger für Überanpassungen?

Ich habe verschiedene (scheinbar) widersprüchliche Aussagen darüber gelesen, ob AdaBoost (oder andere Boosting-Techniken) im Vergleich zu anderen Lernmethoden weniger oder anfälliger für Überanpassungen sind. Gibt es gute Gründe, den einen oder anderen zu glauben? Wenn es darauf ankommt, wovon hängt es ab? Was sind die Gründe, warum AdaBoost weniger / …

20 machine-learning boosting

3

XGBoost vs Python Sklearn-Bäume wurden mit einem Anstieg versehen

Ich versuche zu verstehen, wie XGBoost funktioniert. Ich verstehe bereits, wie gradientenverstärkte Bäume auf Python Sklearn funktionieren. Was mir nicht klar ist, ist, ob XGBoost auf die gleiche Weise funktioniert, aber schneller, oder ob es grundlegende Unterschiede zwischen ihm und der Python-Implementierung gibt. Wenn ich diese Zeitung lese http://learningsys.org/papers/LearningSys_2015_paper_32.pdf Für …

20 scikit-learn boosting gbm xgboost

1

Diskussion über Überanpassung in xgboost

Mein Setup ist wie folgt: Ich folge den Richtlinien in "Applied Predictive Modeling". Daher habe ich korrelierte Merkmale gefiltert und erhalte am Ende Folgendes: 4900 Datenpunkte im Trainingssatz und 1600 Datenpunkte im Testsatz. Ich habe 26 Funktionen und das Ziel ist eine kontinuierliche Variable. Ich wende eine 5-fache Kreuzvalidierung an, …

20 machine-learning boosting overfitting

3

Ist ein Entscheidungsstumpf ein lineares Modell?

Entscheidungsstumpf ist ein Entscheidungsbaum mit nur einer Teilung. Es kann auch als stückweise Funktion geschrieben werden. Angenommen, ist ein Vektor und ist die erste Komponente von . Bei der Regressionseinstellung kann es sich um einen Entscheidungsstumpf handelnx 1 xxxxx1x1x_1xxx f( x ) = { 35x1≤ 2x1> 2f(x)={3x1≤25x1>2f(x)= \begin{cases} 3& x_1\leq …

19 machine-learning cart linear boosting

2

Boosting: Warum wird die Lernrate als Regularisierungsparameter bezeichnet?

Der Lernratenparameter ( ) in Gradient Boosting verringert den Beitrag jedes neuen Basismodells - normalerweise eines flachen Baums -, das in der Reihe hinzugefügt wird. Es hat sich gezeigt, dass die Genauigkeit des Testsatzes drastisch erhöht wird, was verständlich ist, da mit kleineren Schritten das Minimum der Verlustfunktion genauer erreicht …

19 machine-learning data-mining predictive-models boosting overfitting

1

Vorhersageintervall basierend auf Kreuzvalidierung (CV)

In den Lehrbüchern und YouTube-Vorlesungen habe ich viel über iterative Modelle wie Boosten gelernt, aber ich habe nie etwas darüber gesehen, wie man ein Vorhersageintervall ableitet. Kreuzvalidierung wird für Folgendes verwendet: Modellauswahl : Probieren Sie verschiedene Modelle aus und wählen Sie das Modell , das am besten passt. Verwenden Sie …

19 cross-validation boosting prediction-interval

1

Kalibrieren eines Boosted-Klassifikators für mehrere Klassen

Ich habe Alexandru Niculescu-Mizil und Rich Caruanas Artikel " Erhalten kalibrierter Wahrscheinlichkeiten durch Boosting " und die Diskussion in diesem Thread gelesen . Ich habe jedoch immer noch Probleme beim Verstehen und Implementieren der logistischen oder Plattschen Skalierung , um die Ausgabe meines Multi-Class-Boosting-Klassifikators zu kalibrieren (sanftes Boosten mit Entscheidungsstümpfen). …

19 machine-learning boosting

3

Wann sollte ich keinen Ensemble-Klassifikator verwenden?

Wann sollte ich bei einem Klassifizierungsproblem, bei dem das Ziel darin besteht, die Zugehörigkeit zu einer außerhalb der Stichprobe liegenden Klasse genau vorherzusagen, im Allgemeinen keinen Ensemble-Klassifizierer verwenden? Diese Frage steht in engem Zusammenhang mit Warum nicht immer Ensemble-Lernen? . Diese Frage fragt, warum wir nicht die ganze Zeit Ensembles …

17 classification boosting ensemble bagging

2

Klassifizierung mit Gradient Boosting: So behalten Sie die Vorhersage in [0,1] bei

Die Frage Ich habe Probleme zu verstehen, wie die Vorhersage im Intervall [0,1][0,1][0,1] wenn ich eine binäre Klassifizierung mit Gradient Boosting durchführe. Angenommen, wir arbeiten an einem binären Klassifizierungsproblem und unsere Zielfunktion ist der logarithmische Verlust , wobei ist die Zielvariable und ist unser aktuelles Modell.−∑yilog(Hm(xi))+(1−yi)log(1−Hm(xi))−∑yilog⁡(Hm(xi))+(1−yi)log⁡(1−Hm(xi))-\sum y_i \log(H_m(x_i)) + (1-y_i) …

17 logistic classification boosting

2

Unter welchen Bedingungen übertreffen Gradientenverstärkungsmaschinen zufällige Wälder?

Kann Friedmans Steigungsverstärkungsmaschine eine bessere Leistung erzielen als Breimans Random Forest ? Wenn ja, unter welchen Bedingungen oder mit welchen Daten kann gbm verbessert werden?

16 machine-learning data-mining random-forest boosting

2

Leidet die GBM-Klassifizierung unter unausgewogenen Klassengrößen?

Ich habe es mit einem Problem der überwachten binären Klassifizierung zu tun. Ich möchte das GBM-Paket verwenden, um Personen als nicht infiziert / infiziert zu klassifizieren. Ich habe 15-mal mehr nicht infizierte als infizierte Personen. Ich habe mich gefragt, ob GBM-Modelle unter unausgeglichenen Klassengrößen leiden? Ich habe keine Referenzen gefunden, …

16 r machine-learning boosting unbalanced-classes gbm

1

Boosten und Absacken von Bäumen (XGBoost, LightGBM)

Es gibt viele Blog-Posts, YouTube-Videos usw. über die Idee , Bäume zu fangen oder zu vermehren . Mein allgemeines Verständnis ist, dass der Pseudocode für jedes ist: Absacken: Nehmen Sie N zufällige Stichproben von x% der Stichproben und y% der Merkmale Passen Sie Ihr Modell (z. B. Entscheidungsbaum) an jedes …

16 cart boosting xgboost bagging

Als «boosting» getaggte Fragen