Statistiken und Big Data ensemble

4

Kann die Random Forest-Methodik auf lineare Regressionen angewendet werden?

Random Forests erstellen ein Ensemble von Entscheidungsbäumen, wobei jeder Baum mithilfe eines Bootstrap-Beispiels der ursprünglichen Trainingsdaten (Beispiel für Eingabevariablen und Beobachtungen) erstellt wird. Kann ein ähnlicher Prozess für die lineare Regression angewendet werden? Erstellen Sie k lineare Regressionsmodelle mit einer zufälligen Bootstrap-Stichprobe für jede der k Regressionen Was sind die …

14 regression predictive-models ensemble

1

Verwenden von LASSO für zufällige Gesamtstrukturen

Ich möchte eine zufällige Gesamtstruktur mit dem folgenden Verfahren erstellen: Erstellen Sie einen Baum aus zufälligen Stichproben der Daten und Features, und verwenden Sie dabei den Informationsgewinn, um die Aufteilung zu bestimmen Beenden Sie einen Blattknoten, wenn er eine vordefinierte Tiefe überschreitet, ODER wenn eine Teilung zu einer Blattanzahl führen …

14 classification random-forest lasso ensemble

1

Warum nicht immer Ensemble-Lernen verwenden?

Es scheint mir, dass das Lernen von Ensembles immer eine bessere Prognoseleistung liefert als mit nur einer einzelnen Lernhypothese. Also, warum benutzen wir sie nicht die ganze Zeit? Meine Vermutung liegt vielleicht an Recheneinschränkungen? (Selbst dann verwenden wir schwache Prädiktoren, also weiß ich es nicht).

13 boosting ensemble bagging

6

Ressourcen zum Erlernen der Implementierung von Ensemble-Methoden

Ich verstehe theoretisch (sozusagen), wie sie funktionieren würden, bin mir aber nicht sicher, wie ich eine Ensemble-Methode anwenden soll (z. B. Abstimmung, gewichtete Mischungen usw.). Was sind gute Ressourcen für die Implementierung von Ensemble-Methoden? Gibt es spezielle Ressourcen für die Implementierung in Python? BEARBEITEN: Um einige anhand der Diskussion zu …

13 machine-learning python ensemble

3

Ensemble-Zeitreihenmodell

Ich muss die Vorhersage von Zeitreihen automatisieren und kenne die Merkmale dieser Reihen (Saisonalität, Trend, Rauschen usw.) nicht im Voraus. Mein Ziel ist es nicht, für jede Serie das bestmögliche Modell zu erhalten, sondern ziemlich schlechte Modelle zu vermeiden. Mit anderen Worten, jedes Mal kleine Fehler zu bekommen ist kein …

13 time-series forecasting arima ensemble exponential-smoothing

2

Gibt es ein theoretisches Problem bei der Mittelung von Regressionskoeffizienten zur Erstellung eines Modells?

Ich möchte ein Regressionsmodell erstellen, bei dem es sich um einen Durchschnitt mehrerer OLS-Modelle handelt, die jeweils auf einer Teilmenge der vollständigen Daten basieren. Die Idee dahinter basiert auf diesem Papier . Ich erstelle k Falten und erstelle k OLS-Modelle, die jeweils auf Daten ohne eine der Falten basieren. Ich …

12 regression least-squares ensemble

1

Wie berechnet die Gradientenverstärkung Wahrscheinlichkeitsschätzungen?

Ich habe versucht, den Gradienten zu verstehen, der das Lesen verschiedener Blogs und Websites fördert, und versucht, meine Antwort zu finden, indem ich zum Beispiel den XGBoost-Quellcode durchgesehen habe. Ich kann jedoch keine verständliche Erklärung dafür finden, wie Algorithmen zur Erhöhung des Gradienten Wahrscheinlichkeitsschätzungen erzeugen. Wie berechnen sie die Wahrscheinlichkeiten?

11 machine-learning classification boosting ensemble xgboost

1

Ensemble-Lernen: Warum ist das Stapeln von Modellen effektiv?

Vor kurzem habe ich mich für das Modellstapeln als eine Form des Ensemble-Lernens interessiert. Insbesondere habe ich ein wenig mit einigen Spielzeugdatensätzen für Regressionsprobleme experimentiert. Grundsätzlich habe ich einzelne "Level 0" -Regressoren implementiert, die Ausgabevorhersagen jedes Regressors als neues Feature für einen "Meta-Regressor" als Eingabe gespeichert und diesen Meta-Regressor an …

10 machine-learning ensemble stacking

3

Grenzen zu baumbasierten Ensemble-Methoden bei kleinen n, großen p-Problemen?

Baumbasierte Ensemble-Methoden wie Random Forest und nachfolgende Ableitungen (z. B. bedingter Wald) sollen bei sogenannten "kleinen n , großen p " -Problemen nützlich sein , um die relative variable Bedeutung zu identifizieren. Dies scheint zwar der Fall zu sein, aber meine Frage ist, wie weit diese Fähigkeit gehen kann. Kann …

10 random-forest small-sample ensemble

1

Wie kann man beobachtete mit erwarteten Ereignissen vergleichen?

Angenommen, ich habe eine Stichprobe von Häufigkeiten von 4 möglichen Ereignissen: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 und ich habe die erwarteten Wahrscheinlichkeiten, dass meine Ereignisse eintreten: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Mit der Summe der beobachteten …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

1

harte Abstimmung, weiche Abstimmung in ensemblebasierten Methoden

Ich lese praktisches maschinelles Lernen mit Scikit-Learn und TensorFlow: Konzepte, Tools und Techniken zum Aufbau intelligenter Systeme . Dann bin ich nicht in der Lage, den Unterschied zwischen hartem und weichem Voting im Zusammenhang mit ensemblebasierten Methoden herauszufinden. Ich zitiere Beschreibungen von ihnen aus dem Buch. Die ersten beiden Bilder …

9 machine-learning ensemble

1

Zufällige Waldregression - Residuen korrelieren mit der Reaktion

Ich versuche, die Random Forest-Regression zu verwenden. Ich habe eine Antwortvariable: y = rnorm(10000, mean=0, sd=3) Und ein paar Prädiktorvariablen (die nur die Antwort mit zusätzlichem Rauschen sind): x = data.frame(v1=y + rnorm(10000, mean=0, sd=3), v2=y + rnorm(10000, mean=0, sd=3), v3=y + rnorm(10000, mean=0, sd=3)) Ich baue den zufälligen Wald: …

9 r regression machine-learning random-forest ensemble

1

Wie integrieren wir neue Informationen in eine Dirichlet-Vorverteilung?

Mein Problem ist folgendes: Ich habe ein Ensemble von Prädiktoren, die jeweils eine Verteilung über eine Reihe von Klassen erzeugen. Was ich tun möchte, ist, zuerst einen nicht informativen Vorgänger darüber zu haben, wie diese Etikettenverteilung aussieht, und diesen dann vorab mit der Vorhersage jedes Ensemblemitglieds zu aktualisieren. Daher habe …

8 bayesian ensemble dirichlet-distribution

6

Warum nehmen wir den Durchschnitt für Regressionsvorhersagen für zufällige Wälder?

In allen (Regressions-) zufälligen Waldpapieren, die ich gelesen habe, nehmen wir, wenn es an der Zeit ist, die Vorhersagen aller Bäume zu sammeln, den Durchschnittswert als Vorhersage. Meine Frage ist, warum wir das tun? Gibt es eine statistische Begründung für die Ermittlung des Durchschnitts? EDIT: Um die Frage zu klären, …

8 regression random-forest ensemble

2

Verwenden Boosting-Techniken Abstimmungen wie jede andere Ensemble-Methode?

Können wir alle Ensemblemethoden durch Abstimmung verallgemeinern? Verwenden Boosting-Methoden auch Abstimmungen, um die schwachen Lernenden in das endgültige Modell zu bringen? Mein Verständnis der Technik: Boosting: Fügt kontinuierlich schwache Lernende hinzu, um die Datenpunkte zu verbessern, die nicht korrekt klassifiziert wurden. Ensemble-Technik: Verwendet mehrere Lernende, um eine bessere Vorhersage zu …

8 machine-learning boosting ensemble gbm voting-system

Als «ensemble» getaggte Fragen