Statistiken und Big Data prediction

1

Ich versuche zu verstehen, wie Random Forest funktioniert. Ich habe ein Gespür dafür, wie Bäume gebaut werden, kann aber nicht verstehen, wie Random Forest Vorhersagen aus Sackproben macht. Kann mir bitte jemand eine einfache Erklärung geben? :)

13 random-forest prediction

1

Vorhersage auf Modellen mit gemischten Effekten: Was tun mit zufälligen Effekten?

Betrachten wir diesen hypothetischen Datensatz: set.seed(12345) num.subjects <- 10 dose <- rep(c(1,10,50,100), num.subjects) subject <- rep(1:num.subjects, each=4) group <- rep(1:2, each=num.subjects/2*4) response <- dose*dose/10 * group + rnorm(length(dose), 50, 30) df <- data.frame(dose=dose, response=response, subject=subject, group=group) Wir können lmedie Antwort mit einem Zufallseffektmodell modellieren: require(nlme) model <- lme(response ~ dose …

13 mixed-model linear-model prediction

3

Vorhersage von Zähldaten mit zufälliger Gesamtstruktur

Kann ein Random Forest trainiert werden, um die Zähldaten angemessen vorherzusagen? Wie würde das gehen? Ich habe einen ziemlich großen Wertebereich, daher ist eine Klassifizierung nicht wirklich sinnvoll. Wenn ich die Regression verwenden würde, würde ich die Ergebnisse einfach abschneiden? Ich bin hier ziemlich verloren. Irgendwelche Ideen?

12 r regression random-forest prediction count-data

1

Ist eine Vorverarbeitung vor der Vorhersage mit FinalModel von RandomForest mit Caret-Paket erforderlich?

Ich verwende das Caret-Paket zum Trainieren eines randomForest-Objekts mit 10x10CV. library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) Danach teste ich den randomForest auf einem testSet (neue Daten) RF.testSet$Prediction <- predict(RFFit, newdata=testSet) Die Verwirrungsmatrix zeigt mir, dass das Modell nicht so …

12 r random-forest prediction caret

1

Warum sollte Netflix von seinem Fünf-Sterne-Bewertungssystem zu einem Like / Dislike-System wechseln?

Netflix stützte seine Vorschläge auf die von einem Benutzer eingereichten Bewertungen anderer Filme / Shows. Dieses Bewertungssystem hatte fünf Sterne. Mit Netflix können Benutzer jetzt Filme / Shows mögen / nicht mögen (Daumen hoch / Daumen runter). Sie behaupten, es sei einfacher, Filme zu bewerten. Wäre diese 2-Wege-Klassifizierung nicht statistisch …

11 variance predictive-models prediction

1

Fisher's Exact Test und hypergeometrische Verteilung

Ich wollte den genauen Test des Fischers besser verstehen, deshalb habe ich das folgende Spielzeugbeispiel entwickelt, bei dem f und m männlich und weiblich und n und y dem "Sodakonsum" wie folgt entsprechen: > soda_gender f m n 0 5 y 5 0 Dies ist natürlich eine drastische Vereinfachung, aber …

11 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Vorhersageintervall = glaubwürdiges Intervall?

Ich frage mich, ob Vorhersageintervall und glaubwürdiges Intervall dasselbe bewerten. ( 1 - α ) %(1- -α)%.(1-\alpha)\% Y.= a + b . X. Y.=ein+b.X.\ Y = a + b.X X.X.X

11 bayesian linear-model prediction prediction-interval credible-interval

1

R neuralnet - compute gibt eine konstante Antwort

Ich versuche, das neuralnetPaket von R (Dokumentation hier ) zur Vorhersage zu verwenden. Hier, was ich versuche zu tun: library(neuralnet) x <- cbind(runif(50, min=1, max=500), runif(50, min=1, max=500)) y <- x[, 1] * x[, 2] train <- data.frame(x, y) n <- names(train) f <- as.formula(paste('y ~', paste(n[!n %in% 'y'], collapse …

11 r neural-networks prediction error

1

ABC-Modellauswahl

Es hat sich gezeigt, dass die Auswahl des ABC-Modells unter Verwendung von Bayes-Faktoren nicht zu empfehlen ist, da ein Fehler bei der Verwendung von Zusammenfassungsstatistiken vorliegt. Die Schlussfolgerung in diesem Artikel basiert auf der Untersuchung des Verhaltens einer beliebten Methode zur Approximation des Bayes-Faktors (Algorithmus 2). Es ist bekannt, dass …

11 bayesian model-selection prediction abc

2

Vorhersage- und Toleranzintervalle

Ich habe ein paar Fragen zu Vorhersage- und Toleranzintervallen. Lassen Sie uns zunächst die Definition der Toleranzintervalle vereinbaren: Wir erhalten ein Konfidenzniveau von beispielsweise 90%, den Prozentsatz der zu erfassenden Bevölkerung von beispielsweise 99% und eine Stichprobengröße von beispielsweise 20. Die Wahrscheinlichkeitsverteilung ist bekannt, beispielsweise normal zur Bequemlichkeit. Angesichts der …

11 prediction prediction-interval tolerance-interval

1

R / mgcv: Warum produzieren te () und ti () Tensorprodukte unterschiedliche Oberflächen?

Das mgcvPaket für Rhat zwei Funktionen zum Anpassen von Tensorproduktwechselwirkungen: te()und ti(). Ich verstehe die grundlegende Arbeitsteilung zwischen den beiden (Anpassen einer nichtlinearen Wechselwirkung vs. Zerlegen dieser Wechselwirkung in Haupteffekte und eine Wechselwirkung). Was ich nicht verstehe, ist warum te(x1, x2)und ti(x1) + ti(x2) + ti(x1, x2)kann (leicht) unterschiedliche Ergebnisse …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

1

Wie berechnet man die Konfidenzwerte in der Regression (mit zufälligen Wäldern / XGBoost) für jede Vorhersage in R?

Gibt es eine Möglichkeit, für jeden vorhergesagten Wert einen Konfidenzwert (wir können ihn auch als Konfidenzwert oder Wahrscheinlichkeit bezeichnen) zu erhalten, wenn Algorithmen wie Random Forests oder Extreme Gradient Boosting (XGBoost) verwendet werden? Angenommen, dieser Konfidenzwert reicht von 0 bis 1 und zeigt, wie sicher ich in Bezug auf eine …

11 r regression random-forest prediction boosting

4

Ist Multikollinearität wirklich ein Problem?

Ich arbeite derzeit an einem Vorhersagemodellierungsprojekt: Ich versuche, ein Modell zu lernen und Echtzeitvorhersagen auf der Grundlage des Modells zu treffen, das ich offline gelernt habe. Ich habe kürzlich angefangen, die Ridge-Regression zu verwenden, weil ich gelesen habe, dass Regularisierung dazu beitragen kann, den Effekt der Multikollinearität zu verringern. Allerdings …

11 regression prediction multicollinearity ridge-regression

1

Vorhersage mit zufälligen Effekten in mgcv gam

Ich bin daran interessiert, den gesamten Fischfang mit gam in mgcv zu modellieren, um einfache zufällige Effekte für einzelne Schiffe zu modellieren (die im Laufe der Zeit wiederholte Fahrten in der Fischerei unternehmen). Ich habe 98 Probanden, also dachte ich, ich würde Gam anstelle von Gamm verwenden, um die zufälligen …

10 prediction random-effects-model gam mgcv

2

Welche Beziehung besteht zwischen kausaler Folgerung und Vorhersage?

Welche Beziehungen und Unterschiede bestehen zwischen kausaler Inferenz und Vorhersage (sowohl Klassifikation als auch Regression)? Im Vorhersagekontext haben wir die Prädiktor- / Eingangsvariablen und die Antwort- / Ausgangsvariablen. Bedeutet das, dass es einen kausalen Zusammenhang zwischen Eingabe- und Ausgabevariablen gibt? Gehört Vorhersage also zur kausalen Folgerung? Wenn ich das richtig …

10 prediction causality definition

Als «prediction» getaggte Fragen