Statistiken und Big Data predictive-models

15

US-Wahlergebnisse 2016: Was ist mit Vorhersagemodellen schief gelaufen?

Erst war Brexit , jetzt die US-Wahl. Viele Modellvorhersagen waren mit großem Abstand falsch, und gibt es hier Lehren zu ziehen? Noch gestern um 16 Uhr PST favorisierten die Wettmärkte Hillary 4 zu 1. Ich gehe davon aus, dass die Wettmärkte mit echtem Geld als Gesamtheit aller verfügbaren Vorhersagemodelle fungieren …

108 predictive-models ensemble confounding

5

Unterschiede zwischen Kreuzvalidierung und Bootstrapping zur Abschätzung des Vorhersagefehlers

Ich möchte, dass Ihre Gedanken zu den Unterschieden zwischen Kreuzvalidierung und Bootstrapping den Vorhersagefehler abschätzen. Funktioniert man besser für kleine Datenmengen oder große Datenmengen?

102 cross-validation predictive-models bootstrap

6

Differenz zwischen Konfidenzintervallen und Vorhersageintervallen

Für ein Prognoseintervall in der linearen Regression verwenden Sie noch E [ Y | x ] = ^ β 0 + β 1 x das Intervall zu erzeugen. Sie verwenden dies auch, um ein Konfidenzintervall von E [ Y | zu generieren x 0 ] . Was ist der Unterschied …

80 regression confidence-interval predictive-models prediction-interval

8

Generieren Sie eine Zufallsvariable mit einer definierten Korrelation zu einer oder mehreren vorhandenen Variablen.

Für eine Simulationsstudie muss ich Zufallsvariablen generieren, die eine vorab festgelegte (Populations-) Korrelation zu einer vorhandenen Variablen .Y.YY Ich sah in die RPakete copulaund CDVineder Zufall multivariate Verteilungen mit einer bestimmten Abhängigkeitsstruktur erzeugen kann. Es ist jedoch nicht möglich, eine der resultierenden Variablen an eine vorhandene Variable zu binden. Anregungen …

71 r correlation random-variable random-generation independence assumptions random-variable unbiased-estimator regression hypothesis-testing heteroscedasticity generalized-least-squares distributions networks data-visualization sas reproducible-research philosophical time-series variance outliers quality-control mean multilevel-analysis average weighted-mean regression confidence-interval prediction-interval correlation matlab matrix data-mining maximum-likelihood r time-series survival predictive-models

15

Praktische Gedanken zur erklärenden vs. prädiktiven Modellierung

Im April nahm ich an einem Vortrag in der Seminarreihe der Statistikabteilung des UMD teil, der sich "Erklären oder Vorhersagen?" Der Vortrag wurde von Prof. Galit Shmueli gehalten, der an der Smith Business School von UMD unterrichtet. Ihr Vortrag basierte auf Recherchen zu einem Artikel mit dem Titel "Predictive vs. …

70 predictive-models

8

Wie kann ich sicherstellen, dass keine Testdaten in die Trainingsdaten gelangen?

Angenommen, wir haben jemanden, der ein Vorhersagemodell erstellt, der sich jedoch nicht unbedingt mit den richtigen statistischen oder maschinellen Lernprinzipien auskennt. Vielleicht helfen wir dieser Person beim Lernen, oder vielleicht verwendet diese Person ein Softwarepaket, für dessen Verwendung nur minimale Kenntnisse erforderlich sind. Nun könnte diese Person sehr wohl erkennen, …

60 machine-learning classification predictive-models cross-validation out-of-sample

3

Variablen werden häufig angepasst (z. B. standardisiert), bevor ein Modell erstellt wird. Wann ist dies eine gute und wann eine schlechte Idee?

Unter welchen Umständen möchten oder möchten Sie eine Variable vor der Modellanpassung skalieren oder standardisieren? Und welche Vor- / Nachteile hat die Skalierung einer Variablen?

56 modeling predictive-models feature-selection theory standardization

6

Alternativen zur logistischen Regression in R

Ich möchte so viele Algorithmen, die die gleiche Aufgabe wie die logistische Regression ausführen. Das sind Algorithmen / Modelle, die eine Vorhersage für eine binäre Antwort (Y) mit einer erklärenden Variablen (X) geben können. Ich würde mich freuen, wenn Sie nach dem Namen des Algorithmus auch zeigen würden, wie er …

55 r regression logistic classification predictive-models

5

Ist es eine gute Idee, die p-Werte in einer multiplen Regression für multiple Vergleiche anzupassen?

Nehmen wir an, Sie sind ein sozialwissenschaftlicher Forscher / Ökonometriker, der versucht, relevante Prädiktoren für die Nachfrage nach einer Dienstleistung zu finden. Sie haben 2 ergebnis- / abhängige Variablen, die den Bedarf beschreiben (unter Verwendung des Dienstes yes / no und der Anzahl der Fälle). Sie haben 10 Prädiktor- / …

54 regression multivariate-analysis predictive-models multiple-regression multiple-comparisons

5

Wann sind unausgeglichene Daten beim maschinellen Lernen wirklich ein Problem?

Wir hatten bereits mehrere Fragen zu unausgeglichenen Daten bei der Verwendung von logistischer Regression , SVM , Entscheidungsbäumen , Absacken und einer Reihe anderer ähnlicher Fragen, was es zu einem sehr beliebten Thema macht! Leider scheint jede der Fragen algorithmenspezifisch zu sein, und ich habe keine allgemeinen Richtlinien für den …

53 machine-learning classification predictive-models unbalanced-classes

3

Interpretation des log transformierten Prädiktors und / oder der Antwort

Ich frage mich, ob es einen Unterschied in der Interpretation macht, ob nur die abhängigen, sowohl die abhängigen als auch die unabhängigen Variablen oder nur die unabhängigen Variablen log-transformiert werden. Betrachten Sie den Fall von log(DV) = Intercept + B1*IV + Error Ich kann die IV als prozentuale Erhöhung interpretieren, …

46 regression data-transformation interpretation regression-coefficients logarithm r dataset stata hypothesis-testing contingency-tables hypothesis-testing statistical-significance standard-deviation unbiased-estimator t-distribution r functional-data-analysis maximum-likelihood bootstrap regression change-point regression sas hypothesis-testing bayesian randomness predictive-models nonparametric terminology parametric correlation effect-size loess mean pdf quantile-function bioinformatics regression terminology r-squared pdf maximum multivariate-analysis references data-visualization r pca r mixed-model lme4-nlme distributions probability bayesian prior anova chi-squared binomial generalized-linear-model anova repeated-measures t-test post-hoc clustering variance probability hypothesis-testing references binomial profile-likelihood self-study excel data-transformation skewness distributions statistical-significance econometrics spatial r regression anova spss linear-model

1

Manuell berechnetes stimmt nicht mit randomForest () überein, um neue Daten zu testen

Ich weiß, dass dies eine ziemlich spezifische RFrage ist, aber ich denke möglicherweise falsch über die erklärte Proportionsvarianz . Hier geht.R2R2R^2 Ich versuche das RPaket zu benutzen randomForest. Ich habe einige Trainingsdaten und Testdaten. Wenn ich ein zufälliges Gesamtstrukturmodell anpasse, randomForestkönnen Sie mit dieser Funktion neue Testdaten zum Testen eingeben. …

38 r correlation predictive-models random-forest r-squared

3

Varianz der

TL, DR: Es sieht so aus, als ob entgegen häufig wiederholter Ratschläge die einmalige Kreuzvalidierung (LOO-CV) - das heißt, derKKK fache CV mitKKK (die Anzahl der Falten) ist gleichNNN (die Anzahl) der Trainingsbeobachtungen) - liefert Schätzungen des Generalisierungsfehlers, diefür jedes K am wenigsten variabel sind, und nicht die variabelsten, wobei …

37 regression machine-learning variance cross-validation predictive-models

2

Wann und wie standardisierte erklärende Variablen in der linearen Regression verwendet werden

Ich habe 2 einfache Fragen zur linearen Regression: Wann wird empfohlen, die erklärenden Variablen zu standardisieren? Wie kann man nach einer Schätzung mit standardisierten Werten mit neuen Werten vorhersagen (wie sollte man die neuen Werte standardisieren)? Einige Referenzen wären hilfreich.

37 regression predictive-models references standardization predictor

5

Wie gehe ich mit einem „selbst besiegenden“ Vorhersagemodell um?

Ich sah mir eine Präsentation eines ML-Spezialisten eines großen Einzelhändlers an, der ein Modell zur Vorhersage von Ereignissen aus Lagerbeständen entwickelt hatte. Nehmen wir für einen Moment an, dass ihr Modell im Laufe der Zeit sehr genau wird, wäre das nicht irgendwie "selbstzerstörerisch"? Das heißt, wenn das Modell wirklich gut …

36 machine-learning predictive-models

Als «predictive-models» getaggte Fragen