Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

3
Was ist der Unterschied zwischen deterministischem und stochastischem Modell?
Einfaches lineares Modell: x=αt+ϵtx=αt+ϵtx=\alpha t + \epsilon_t wobei ~ iidϵtϵt\epsilon_tN(0,σ2)N(0,σ2)N(0,\sigma^2) mit undE(x)=αtE(x)=αtE(x) = \alpha tVar(x)=σ2Var(x)=σ2Var(x)=\sigma^2 AR (1): Xt=αXt−1+ϵtXt=αXt−1+ϵtX_t =\alpha X_{t-1} + \epsilon_t wobei ~ iidϵtϵt\epsilon_tN(0,σ2)N(0,σ2)N(0,\sigma^2) mit undE(x)=αtE(x)=αtE(x) = \alpha tVar(x)=tσ2Var(x)=tσ2Var(x)=t\sigma^2 Ein einfaches lineares Modell wird also als deterministisches Modell angesehen, während ein AR (1) -Modell als stokahstisches Modell angesehen wird. …

1
Können einseitige Konfidenzintervalle eine Abdeckung von 95% haben?
Ich habe mich gefragt , ob wir angesichts einer einseitigen (einseitigen) Hypothese mit einem Alpha-Level von 95% -Konfidenzintervallen.05 sprechen können . Können wir zum Beispiel getrennte "einseitige" und "zweiseitige" Konfidenzintervalle für einen einseitigen Z- oder t-Test konstruieren ? Was wäre die "Interpretation" jedes dieser Konfidenzintervalle angesichts des einseitigen Tests? Ich …

3
Wie ist
Angenommen, YYY ist eine kontinuierliche Zufallsvariable und XXX ist eine diskrete. Pr(X=x|Y=y)=Pr(X=x)Pr(Y=y|X=x)Pr(Y=y)Pr(X=x|Y=y)=Pr(X=x)Pr(Y=y|X=x)Pr(Y=y) \Pr(X=x|Y=y) = \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)} Wie wir wissen, ist Pr(Y=y)=0Pr(Y=y)=0\Pr(Y=y) = 0 weil YYY eine kontinuierliche Zufallsvariable ist. Und auf dieser Grundlage bin ich versucht zu schließen, dass die Wahrscheinlichkeit Pr(X=x|Y=y)Pr(X=x|Y=y)\Pr(X=x|Y=y) undefiniert ist. Jedoch behauptet Wikipedia hier , dass es …



1
XGBoost kann fehlende Daten in der Prognosephase verarbeiten
Kürzlich habe ich den XGBoost-Algorithmus überprüft und festgestellt, dass dieser Algorithmus fehlende Daten (ohne Imputation) in der Trainingsphase verarbeiten kann. Ich habe mich gefragt, ob XGboost fehlende Daten verarbeiten kann (ohne dass eine Imputation erforderlich ist), wenn sie zur Vorhersage neuer Beobachtungen verwendet werden oder die fehlenden Daten unterstellt werden …

1
R / mgcv: Warum produzieren te () und ti () Tensorprodukte unterschiedliche Oberflächen?
Das mgcvPaket für Rhat zwei Funktionen zum Anpassen von Tensorproduktwechselwirkungen: te()und ti(). Ich verstehe die grundlegende Arbeitsteilung zwischen den beiden (Anpassen einer nichtlinearen Wechselwirkung vs. Zerlegen dieser Wechselwirkung in Haupteffekte und eine Wechselwirkung). Was ich nicht verstehe, ist warum te(x1, x2)und ti(x1) + ti(x2) + ti(x1, x2)kann (leicht) unterschiedliche Ergebnisse …
11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

1
Warum ist Nicht-Negativität für kollaborative Filter- / Empfehlungssysteme wichtig?
In allen modernen Empfehlungssystemen, die ich gesehen habe und die auf einer Matrixfaktorisierung beruhen, wird eine nicht negative Matrixfaktorisierung für die Benutzerfilmmatrix durchgeführt. Ich kann verstehen, warum Nicht-Negativität für die Interpretierbarkeit wichtig ist und / oder wenn Sie spärliche Faktoren wünschen. Aber wenn Sie sich nur für die Prognoseleistung interessieren, …


3
Mittelwert der inversen Exponentialverteilung
Was ist bei einer Zufallsvariablen der Mittelwert und die Varianz von ?Y=Exp(λ)Y=Exp(λ)Y = Exp(\lambda)G=1YG=1YG=\dfrac{1}{Y} Ich betrachte die inverse Gammaverteilung, aber der Mittelwert und die Varianz sind nur für bzw. ...α>1α>1\alpha>1α>2α>2\alpha>2


2
Sind logarithmische Differenzzeitreihenmodelle besser als Wachstumsraten?
Oft sehe ich Autoren, die ein "Log-Differenz" -Modell schätzen, z log(yt)−log(yt−1)=log(yt/yt−1)=α+βxtlog⁡(yt)−log⁡(yt−1)=log⁡(yt/yt−1)=α+βxt\log (y_t)-\log(y_{t-1}) = \log(y_t/y_{t-1}) = \alpha + \beta x_t Ich bin einverstanden dies angemessen ist , in Beziehung auf eine prozentuale Änderung der während ist .xtxtx_tytyty_tlog(yt)log⁡(yt)\log (y_t)I(1)I(1)I(1) Aber der logarithmische Unterschied ist eine Annäherung, und es scheint, dass man ein …

2
Lineare Regression, bedingte Erwartungen und erwartete Werte
Okay, nur ein bisschen verschwommen in ein paar Dingen, jede Hilfe wäre sehr dankbar. Nach meinem Verständnis wird das lineare Regressionsmodell über eine bedingte Erwartung vorhergesagt E(Y|X)=b+Xb+eE(Y|X)=b+Xb+eE(Y|X)=b+Xb+e Nehmen wir an, dass sowohl als auch Zufallsvariablen mit einer unbekannten Wahrscheinlichkeitsverteilung sind? Nach meinem Verständnis waren nur die Residuen und die geschätzten …
11 regression 

1
Warum ist die Kreuzentropie intuitiv ein Maß für den Abstand zweier Wahrscheinlichkeitsverteilungen?
Für zwei diskrete Verteilungen und ist die Kreuzentropie definiert alspppqqq H(p,q)=−∑xp(x)logq(x).H(p,q)=−∑xp(x)log⁡q(x).H(p,q)=-\sum_x p(x)\log q(x). Ich frage mich, warum dies ein intuitives Maß für den Abstand zwischen zwei Wahrscheinlichkeitsverteilungen wäre. Ich sehe, dass die Entropie von , die die "Überraschung" von misst . ist das Maß, das teilweise durch . Ich verstehe …


Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.