Als «missing-data» getaggte Fragen

Wenn die Daten fehlen, sind fehlende Informationen (Lücken), dh nicht vollständig. Daher ist es wichtig, diese Funktion bei der Durchführung einer Analyse oder eines Tests zu berücksichtigen.

5
Wie führt man eine Imputation von Werten in einer sehr großen Anzahl von Datenpunkten durch?
Ich habe einen sehr großen Datensatz und es fehlen ungefähr 5% zufällige Werte. Diese Variablen sind miteinander korreliert. Der folgende Beispiel-R-Datensatz ist nur ein Spielzeugbeispiel mit Dummy-korrelierten Daten. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep …
12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 
2
80% der fehlenden Daten in einer einzelnen Variablen
Es gibt eine Variable in meinen Daten, bei der 80% der Daten fehlen. Die Daten fehlen wegen Nichtvorhandenseins (dh wie viel Bankdarlehen das Unternehmen schuldet). Ich bin auf einen Artikel gestoßen, in dem es heißt, dass die Dummy-Variable-Einstellmethode die Lösung für dieses Problem ist. Bedeutet das, dass ich diese stetige …
3
Techniken für den Umgang mit unvollständigen / fehlenden Daten
Meine Frage bezieht sich auf Techniken zum Umgang mit unvollständigen Daten während des Klassifikators / Modelltrainings / Anpassens. In einem Datensatz mit einigen hundert Zeilen, wobei jede Zeile beispielsweise fünf Dimensionen und eine Klassenbezeichnung als letztes Element aufweist, sehen die meisten Datenpunkte folgendermaßen aus: [0,74, 0,39, 0,14, 0,33, 0,34, 0] …
3
Gibt es ein ernstes Problem beim Löschen von Beobachtungen mit fehlenden Werten bei der Berechnung der Korrelationsmatrix?
Ich habe diesen riesigen Datensatz mit ungefähr 2500 Variablen und ungefähr 142 Beobachtungen. Ich möchte eine Korrelation zwischen Variable X und dem Rest der Variablen ausführen. Bei vielen Spalten fehlen jedoch Einträge. Ich habe versucht, dies in R mit dem Argument "pairwise-complete" ( use=pairwise.complete.obs) zu tun, und es wurden eine …
3
Umgang mit NA-Werten in der Schrumpfungsmethode (Lasso) mit glmnet
Ich verwende "glmnet" für die Lasso-Regression in GWAS. Einige Varianten und Personen haben fehlende Werte und es scheint, dass glmnet fehlende Werte nicht verarbeiten kann. Gibt es dafür eine Lösung? oder gibt es ein anderes Paket, das fehlende Werte in der Lasso-Regression verarbeiten kann? Hier sind meine Skripte. > library(glmnet) …
2
Wie gehe ich mit nicht vorhandenen (nicht fehlenden) Daten um?
Ich habe nie wirklich einen guten Text oder Beispiele gefunden, wie man mit 'nicht existierenden' Daten für Eingaben in irgendeine Art von Klassifikator umgeht. Ich habe viel über fehlende Daten gelesen, aber was kann mit Daten getan werden, die in Bezug auf multivariate Eingaben nicht existieren können oder nicht. Ich …
2
Wahrscheinlichkeit, dass jemand Bild mag
Ich habe folgendes Problem: - Wir haben eine Gruppe von N Personen - Wir haben eine Gruppe von K Bildern - Jede Person bewertet eine bestimmte Anzahl von Bildern. Eine Person könnte ein Bild mögen oder nicht (dies sind die einzigen zwei Möglichkeiten). - Das Problem ist, wie man die …
1
XGBoost kann fehlende Daten in der Prognosephase verarbeiten
Kürzlich habe ich den XGBoost-Algorithmus überprüft und festgestellt, dass dieser Algorithmus fehlende Daten (ohne Imputation) in der Trainingsphase verarbeiten kann. Ich habe mich gefragt, ob XGboost fehlende Daten verarbeiten kann (ohne dass eine Imputation erforderlich ist), wenn sie zur Vorhersage neuer Beobachtungen verwendet werden oder die fehlenden Daten unterstellt werden …
1
R / mgcv: Warum produzieren te () und ti () Tensorprodukte unterschiedliche Oberflächen?
Das mgcvPaket für Rhat zwei Funktionen zum Anpassen von Tensorproduktwechselwirkungen: te()und ti(). Ich verstehe die grundlegende Arbeitsteilung zwischen den beiden (Anpassen einer nichtlinearen Wechselwirkung vs. Zerlegen dieser Wechselwirkung in Haupteffekte und eine Wechselwirkung). Was ich nicht verstehe, ist warum te(x1, x2)und ti(x1) + ti(x2) + ti(x1, x2)kann (leicht) unterschiedliche Ergebnisse …
11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 
1
Fehler "Der führende Minderjährige der Ordnung 1 ist nicht positiv definitiv" unter Verwendung von 2l.norm bei Mäusen
Ich habe ein Problem mit der 2l.normMethode der mehrstufigen Imputation in mice. Leider kann ich aufgrund der Größe meiner Daten kein reproduzierbares Beispiel veröffentlichen. Wenn ich die Größe reduziere, verschwindet das Problem. miceErzeugt für eine bestimmte Variable die folgenden Fehler und Warnungen: Error in chol.default(inv.sigma2[class] * X.SS[[class]] + inv.psi) : …
2
Ist eine präzisionsbasierte (dh inverse Varianz) Gewichtung ein wesentlicher Bestandteil der Metaanalyse?
Ist die präzisionsbasierte Gewichtung für die Metaanalyse von zentraler Bedeutung? Borenstein et al. (2009) schreiben, dass für eine mögliche Metaanalyse lediglich Folgendes erforderlich ist: Studien berichten über eine Punktschätzung, die als einzelne Zahl ausgedrückt werden kann. Für diese Punktschätzung kann eine Varianz berechnet werden. Mir ist nicht sofort klar, warum …
3
Was ist der Vorteil der Imputation gegenüber der Erstellung mehrerer Modelle in der Regression?
Ich frage mich, ob jemand einen Einblick geben könnte, ob eine Warum-Imputation für fehlende Daten besser ist, als einfach verschiedene Modelle für Fälle mit fehlenden Daten zu erstellen. Besonders im Fall von [verallgemeinerten] linearen Modellen (ich kann vielleicht in nichtlinearen Fällen sehen, dass die Dinge anders sind) Angenommen, wir haben …
1
Warum haben Anova () und drop1 () unterschiedliche Antworten für GLMMs geliefert?
Ich habe ein GLMM der Form: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Wenn ich benutze drop1(model, test="Chi"), erhalte ich andere Ergebnisse als wenn ich Anova(model, type="III")aus dem Autopaket oder benutze summary(model). Diese beiden letzteren geben die gleichen Antworten. Unter Verwendung einer Reihe …
10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.