Statistiken und Big Data prediction

2

Eine "signifikante Variable", die die Vorhersagen außerhalb der Stichprobe nicht verbessert - wie zu interpretieren?

Ich habe eine Frage, von der ich denke, dass sie für viele Benutzer ziemlich einfach sein wird. Ich verwende lineare Regressionsmodelle, um (i) die Beziehung mehrerer erklärender Variablen und meiner Antwortvariablen zu untersuchen und (ii) meine Antwortvariable unter Verwendung der erklärenden Variablen vorherzusagen. Eine bestimmte erklärende Variable X scheint meine …

10 statistical-significance predictive-models p-value prediction out-of-sample

1

Was ist der Unterschied zwischen Entscheidungsfunktion, Vorhersagefunktion und Vorhersagefunktion für das logistische Regressionsproblem?

Ich habe die sklearn-Dokumentation durchgearbeitet, kann jedoch den Zweck dieser Funktionen im Kontext der logistischen Regression nicht verstehen. Denn decision_functiones heißt, dass es der Abstand zwischen der Hyperebene und der Testinstanz ist. Wie sind diese speziellen Informationen nützlich? und wie hängt das mit predictund predict-probamethoden zusammen?

10 regression logistic prediction scikit-learn decision

2

Bewerten Sie die posteriore prädiktive Verteilung in der Bayes'schen linearen Regression

Ich bin verwirrt darüber, wie die posteriore prädiktive Verteilung für die Bayes'sche lineare Regression nach dem hier auf Seite 3 beschriebenen und unten kopierten Grundfall bewertet werden soll. p ( y~∣ y)=∫p(y~∣β,σ2)p(β,σ2∣y)p(y~∣y)=∫p(y~∣β,σ2)p(β,σ2∣y) p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y) Der Grundfall ist …

10 regression bayesian predictive-models prediction posterior

1

Berechnung von Vorhersageintervallen bei Verwendung der Kreuzvalidierung

Werden Standardabweichungsschätzungen berechnet über: sN=1N∑Ni=1(xi−x¯¯¯)2−−−−−−−−−−−−−√.sN=1N∑i=1N(xi−x¯)2. s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}. ( http://en.wikipedia.org/wiki/Standard_deviation#Sample_standard_deviation ) für Vorhersagegenauigkeiten, die aus einer 10-fachen Kreuzvalidierung entnommen wurden? Ich bin besorgt, dass die zwischen jeder Falte berechnete Vorhersagegenauigkeit aufgrund der erheblichen Überlappung zwischen Trainingssätzen abhängig ist (obwohl die Vorhersagesätze unabhängig sind). Alle Ressourcen, die …

10 confidence-interval cross-validation prediction prediction-interval

1

Wie erhalte ich eine Vorhersage für eine bestimmte Variable in WinBUGS?

Ich bin ein neuer Benutzer von WinBUGS und habe eine Frage für Ihre Hilfe. Nachdem ich den folgenden Code ausgeführt habe, habe ich Parameter von beta0through beta4(Statistiken, Dichte) erhalten, aber ich weiß nicht, wie ich die Vorhersage des letzten Werts von erhalten soll h, den ich NAim Code modellieren möchte …

10 bayesian bugs prediction winbugs

1

R lineare Regression kategoriale Variable "versteckter" Wert

Dies ist nur ein Beispiel, auf das ich mehrmals gestoßen bin, daher habe ich keine Beispieldaten. Ausführen eines linearen Regressionsmodells in R: a.lm = lm(Y ~ x1 + x2) x1ist eine stetige Variable. x2ist kategorisch und hat drei Werte, z. B. "Niedrig", "Mittel" und "Hoch". Die von R gegebene Ausgabe …

10 r regression categorical-data regression-coefficients categorical-encoding machine-learning random-forest anova spss r self-study bootstrap monte-carlo r multiple-regression partitioning neural-networks normalization machine-learning svm kernel-trick self-study survival cox-model repeated-measures survey likert correlation variance sampling meta-analysis anova independence sample assumptions bayesian covariance r regression time-series mathematical-statistics graphical-model machine-learning linear-model kernel-trick linear-algebra self-study moments function correlation spss probability confidence-interval sampling mean population r generalized-linear-model prediction offset data-visualization clustering sas cart binning sas logistic causality regression self-study standard-error r distributions r regression time-series multiple-regression python chi-squared independence sample clustering data-mining rapidminer probability stochastic-processes clustering binary-data dimensionality-reduction svd correspondence-analysis data-visualization excel c# hypothesis-testing econometrics survey rating composite regression least-squares mcmc markov-process kullback-leibler convergence predictive-models r regression anova confidence-interval survival cox-model hazard normal-distribution autoregressive mixed-model r mixed-model sas hypothesis-testing mediation interaction

2

Bias-Varianz-Zerlegung: Begriff für den erwarteten quadratischen Prognosefehler abzüglich des nicht reduzierbaren Fehlers

Hastie et al. "Die Elemente des statistischen Lernens" (2009) betrachten einen Datenerzeugungsprozess mit und .Y=f(X)+εY=f(X)+ε Y = f(X) + \varepsilon E(ε)=0E(ε)=0\mathbb{E}(\varepsilon)=0Var(ε)=σ2εVar(ε)=σε2\text{Var}(\varepsilon)=\sigma^2_{\varepsilon} Sie zeigen die folgende Bias-Varianz-Zerlegung des erwarteten quadratischen Prognosefehlers am Punkt (S. 223, Formel 7.9): In my eigene Arbeit Ich gebe nicht sondern nehme stattdessen eine willkürliche Prognose (falls …

9 variance forecasting prediction terminology bias

2

Regressionsergebnisse haben eine unerwartete Obergrenze

Ich versuche, einen Balance Score vorherzusagen und habe verschiedene Regressionsmethoden ausprobiert. Eine Sache, die mir aufgefallen ist, ist, dass die vorhergesagten Werte eine Art Obergrenze zu haben scheinen. Das heißt, der tatsächliche Saldo liegt bei , aber meine Vorhersagen liegen bei etwa . Das folgende Diagramm zeigt das tatsächliche gegenüber …

9 regression distributions data-transformation prediction bounds

3

K-fache oder Hold-out-Kreuzvalidierung für die Gratregression mit R.

Ich arbeite an einer Kreuzvalidierung der Vorhersage meiner Daten mit 200 Probanden und 1000 Variablen. Ich bin an einer Ridge-Regression interessiert, da die Anzahl der Variablen (die ich verwenden möchte) größer ist als die Anzahl der Stichproben. Ich möchte also Schrumpfungsschätzer verwenden. Die folgenden Beispieldaten bestehen aus: #random population of …

9 r cross-validation prediction ridge-regression

1

Bewertung der Leistung der Zeitreihenvorhersage

Ich habe ein dynamisches naives Bayes-Modell, das auf einigen zeitlichen Variablen trainiert ist. Die Ausgabe des Modells ist die Vorhersage von P(Event) @ t+1, geschätzt bei jedem t. Die Darstellung von P(Event)versus timeist wie in der folgenden Abbildung angegeben. In dieser Abbildung stellt die schwarze Linie dar, P(Event)wie von meinem …

9 time-series probability prediction model-comparison model-evaluation

1

Vorhersage mit randomForest (R), wenn bei einigen Eingaben Werte fehlen (NA)

Ich habe ein feines randomForestKlassifizierungsmodell, das ich in einer Anwendung verwenden möchte, die die Klasse eines neuen Falls vorhersagt. Dem neuen Fall fehlen zwangsläufig Werte. Predict funktioniert als solches für NAs nicht. Wie soll ich das dann machen? data(iris) # create first the new case with missing values na.row<-45 na.col<-c(3,5) …

9 r random-forest prediction missing-data

1

Wie kann man beobachtete mit erwarteten Ereignissen vergleichen?

Angenommen, ich habe eine Stichprobe von Häufigkeiten von 4 möglichen Ereignissen: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 und ich habe die erwarteten Wahrscheinlichkeiten, dass meine Ereignisse eintreten: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Mit der Summe der beobachteten …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

2

Verwenden eines Regressionsmodells zur Vorhersage: Wann aufhören?

Ich habe aus meinen experimentellen Messungen ein einfaches lineares Regressionsmodell berechnet, um Vorhersagen zu treffen. Ich habe gelesen, dass Sie keine Vorhersagen für Punkte berechnen sollten, die zu weit von den verfügbaren Daten abweichen. Ich konnte jedoch keine Anleitung finden, die mir hilft, zu wissen, wie weit ich extrapolieren kann. …

9 regression prediction

1

GLM-Poisson mit Offset vorhersagen

Ich weiß, dass dies wahrscheinlich eine grundlegende Frage ist ... Aber ich scheine keine Antwort zu finden. Ich passe ein GLM an eine Poisson-Familie an und habe dann versucht, einen Blick auf die Vorhersagen zu werfen, aber der Offset scheint berücksichtigt zu werden: model_glm=glm(cases~rhs(data$year,2003)+lhs(data$year,2003), offset=(log(population)), data=data, subset=28:36, family=poisson()) predict (model_glm, …

9 r generalized-linear-model prediction offset

3

Bayesianische Vorhersageverteilungen verstehen

Ich nehme an einem Intro-to-Bayes-Kurs teil und habe Schwierigkeiten, prädiktive Verteilungen zu verstehen. Ich verstehe, warum sie nützlich sind und ich bin mit der Definition vertraut, aber es gibt einige Dinge, die ich nicht ganz verstehe. 1) Wie man die richtige Vorhersageverteilung für einen Vektor neuer Beobachtungen erhält Angenommen, wir …

9 bayesian prediction

Als «prediction» getaggte Fragen