Statistiken und Big Data missing-data

1

Fehlende Werte in der Antwortvariablen in JAGS

Gelman & Hill (2006) sagen: In Bugs können fehlende Ergebnisse in einer Regression einfach behandelt werden, indem einfach der Datenvektor, die NAs und alle eingeschlossen werden. Bugs modellieren die Ergebnisvariable explizit. Daher ist es trivial, dieses Modell zu verwenden, um fehlende Werte bei jeder Iteration zu unterstellen. Dies klingt nach …

10 missing-data bugs jags

4

Wie bestimme ich, ob zwei Korrelationen signifikant unterschiedlich sind?

Ich möchte bestimmen, welcher von zwei Datensätzen (B1, B2) besser mit einem anderen Satz (A) korreliert (Pearsons r). In allen Datensätzen fehlen Daten. Wie kann ich feststellen, ob die resultierende Korrelation signifikant unterschiedlich ist oder nicht? Beispielsweise sind 8426-Werte sowohl in A als auch in B1 vorhanden, r = 0,74. …

9 hypothesis-testing correlation statistical-significance missing-data

2

Alternative Gewichtungsschemata für die Metaanalyse von Zufallseffekten: fehlende Standardabweichungen

Ich arbeite an einer Metaanalyse mit zufälligen Effekten, die eine Reihe von Studien abdeckt, in denen keine Standardabweichungen angegeben sind. Alle Studien geben die Stichprobengröße an. Ich glaube nicht, dass es möglich ist, die fehlenden SD-Daten zu approximieren oder zu unterstellen. Wie sollte eine Metaanalyse gewichtet werden, bei der rohe …

9 stata missing-data meta-analysis meta-regression

2

Einbeziehung detaillierterer erklärender Variablen im Laufe der Zeit

Ich versuche zu verstehen, wie ich eine Variable am besten modellieren kann, wenn ich im Laufe der Zeit immer detailliertere Prädiktoren erhalten habe. Betrachten Sie beispielsweise die Modellierung der Wiederherstellungsraten für ausgefallene Kredite. Angenommen, wir haben einen Datensatz mit Daten aus 20 Jahren, und in den ersten 15 dieser Jahre …

9 regression missing-data

1

Vorhersage mit randomForest (R), wenn bei einigen Eingaben Werte fehlen (NA)

Ich habe ein feines randomForestKlassifizierungsmodell, das ich in einer Anwendung verwenden möchte, die die Klasse eines neuen Falls vorhersagt. Dem neuen Fall fehlen zwangsläufig Werte. Predict funktioniert als solches für NAs nicht. Wie soll ich das dann machen? data(iris) # create first the new case with missing values na.row<-45 na.col<-c(3,5) …

9 r random-forest prediction missing-data

1

Wie kann man beobachtete mit erwarteten Ereignissen vergleichen?

Angenommen, ich habe eine Stichprobe von Häufigkeiten von 4 möglichen Ereignissen: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 und ich habe die erwarteten Wahrscheinlichkeiten, dass meine Ereignisse eintreten: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Mit der Summe der beobachteten …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

1

Multiple Regression mit fehlender Prädiktorvariable

Angenommen, wir erhalten einen Satz von Daten der Form und . Wir haben die Aufgabe, basierend auf den Werten von vorherzusagen . Wir schätzen zwei Regressionen, bei denen: ( y , x 1 , x 2 , ⋯ , x n - 1 ) y x y(y,x1,x2,⋯,xn)(y,x1,x2,⋯,xn)(y,x_{1},x_{2},\cdots, x_{n})( y, x1, …

9 regression multiple-regression missing-data multicollinearity multiple-imputation

4

Wie gehe ich mit Lücken / NaNs in Zeitreihendaten um, wenn Matlab für Autokorrelation und neuronale Netze verwendet wird?

Ich habe eine Zeitreihe von Messungen (Höhen-eindimensionale Reihen). Im Beobachtungszeitraum ging der Messvorgang für einige Zeitpunkte zurück. Die resultierenden Daten sind also ein Vektor mit NaNs, bei dem es Lücken in den Daten gab. Bei Verwendung von MATLAB verursacht dies ein Problem bei der Berechnung der Autokorrelation ( autocorr) und …

9 time-series dataset matlab autocorrelation missing-data

3

Behandlung der Ebenen "Weiß nicht / Abgelehnt" von kategorialen Variablen

Ich modelliere die Diabetes-Vorhersage mithilfe der logistischen Regression. Der verwendete Datensatz ist das Behavioral Risk Factor Surveillance System (BRFSS) des Center for Disease Control (CDC). Eine der unabhängigen Variablen ist Bluthochdruck. Es ist kategorisch mit den folgenden Ebenen "Ja", "Nein", "Weiß nicht / Abgelehnt". Sollte ich diese Zeilen beim Erstellen …

9 logistic missing-data

7

Korrelation zwischen zwei Variablen ungleicher Größe

In einem Problem, an dem ich arbeite, habe ich zwei Zufallsvariablen, X und Y. Ich muss herausfinden, wie eng die beiden miteinander korrelieren, aber sie haben unterschiedliche Dimensionen. Der Rang des Zeilenraums von X beträgt 4350, und der Rang des Zeilenraums von Y ist mit Zehntausenden wesentlich größer. Sowohl X …

9 time-series correlation missing-data finance

2

Wie bestimme ich, ob ein Überlebensmodell mit fehlenden Daten geeignet ist?

Ein bisschen vereinfacht, ich habe ungefähr eine Million Datensätze, die die Eintritts- und Austrittszeit von Personen in einem System aufzeichnen, das sich über ungefähr zehn Jahre erstreckt. Jeder Datensatz hat eine Eintrittszeit, aber nicht jeder Datensatz hat eine Austrittszeit. Die mittlere Zeit im System beträgt ~ 1 Jahr. Die fehlenden …

9 survival missing-data

3

Wann ist es eine gute Idee, nur den Durchschnitt für die Imputation zu verwenden?

Angenommen , wir einen Datensatz haben Test : 1 8 12 14 . . 19 Das . bezeichnet fehlende Werte. Wann wäre es besser, den Durchschnitt der nicht fehlenden Werte zu verwenden, um die fehlenden Werte zu unterstellen, als anzunehmen, dass die Daten aus einer Normalverteilung stammen?

9 missing-data

1

Statistische Analyse verschwindender Adler

In Schottland werden Adler mit Satelliten-Tags vermisst, und die obige Tabelle zeigt das Schicksal der Tags nach Tag-Modell. Ich interessiere mich besonders für die Tags "Gestoppt - keine Fehlfunktion", da möglicherweise auch diese Vögel getötet und die Leichen und Tags entsorgt werden. Ich habe gesehen, dass festgestellt wurde, dass diese …

8 statistical-significance categorical-data missing-data

2

Ist es jemals in Ordnung, fehlende Beobachtungen fallen zu lassen?

Ich habe einen Datensatz, der sich mit Einwanderungsanträgen und Visumannahmen (Erteilung von Visa) befasst. Die Preise werden für "akzeptiert" und "abgelehnt" von Visumanträgen berechnet. Der Datensatz enthält jedoch auch Werte für Fälle, die geschlossen wurden. Normalerweise ist dies der Fall, wenn der Einwanderer entweder nicht mehr zu Terminen erscheint, woanders …

8 missing-data

1

Welche Optionen gibt es in der Propensity-Score-Analyse, um mit sehr kleinen oder großen Neigungen umzugehen?

\newcommand{\P}{\mathbb{P}} Ich befasse mich mit Beobachtungsdaten, in denen die Behandlungszuordnung außerordentlich gut erklärt werden kann. Zum Beispiel eine logistische Regression von P (A= 1 | X.) = ( 1 + exp(- ( X.β) ) )- 1P(A=1|X)=(1+exp⁡(−(Xβ)))−1\P(A =1 |X) = (1+ \exp(-(X\beta)))^{-1} wehre EINAA Behandlungsaufgabe und X.XX Kovariaten passen sehr gut …

8 missing-data causality propensity-scores survey-weights

Als «missing-data» getaggte Fragen