Statistiken und Big Data

3

Wie kann ich dieselbe kategoriale Variable in zwei Populationen testen?

Ich habe Daten, die ungefähr so aussehen: ID Status 01 A 02 G 03 E ... ... 100 G Sie haben die Idee, denke ich. Ich habe diese Daten aus zwei verschiedenen Populationen (Kohorten) und möchte die Verteilung der Statusvariablen in einer Population mit der Verteilung in einer anderen vergleichen. …

8 r hypothesis-testing categorical-data chi-squared

1

Ist die Quadratwurzel einer positiven semidefiniten Matrix ein einzigartiges Ergebnis?

Ich versuche , eine Zeitreihe von zersetzen Beobachtungen in die Varianz-Kovarianz - Struktur und einer zufälligen Reihe .v c n × n ∑ vnnnvcvc\bf{\mathrm{v_c}}n×nn×nn \times n∑∑\sumvv\bf{\mathrm{v}} Ich kann also die Varianz-Kovarianz-Matrix aus der Autokorrelationsfunktion von . Dies wird eine Toeplitz-Matrix sein, die positiv semidefinit ist. Daher kann ich eine geeignete …

8 time-series covariance-matrix

3

Reduzierung der Seriendimensionalität zur Klassifizierung Eingabe

Ich möchte ein Vorhersagemodell erstellen, bei dem die Ergebnisvariable binär und die Eingabe Zeitreihen sind. Um es konkreter zu machen, wird das Modell anhand des Betrags, den er in den letzten 60 Tagen für das Unternehmen ausgegeben hat, vorhersagen, ob ein Kunde abwandert (das Unternehmen verlassen hat; als 1 oder …

8 data-mining data-transformation dimensionality-reduction signal-processing

2

Wie finde ich eine geeignete Assoziation von Farbe mit Datenwert in einer Visualisierung?

Ich arbeite an einem Softwareprojekt, bei dem ein Visualizer für Hochwassersimulationen erstellt wird. Im Rahmen dieses Projekts habe ich einen Wassergradienten erstellt, der die Wassertiefe an bestimmten Punkten anzeigt. Um festzulegen, welche Werte welche Farben darstellen, gehe ich die Daten durch und erhalte die minimalen und maximalen Werte, die auftreten, …

8 data-visualization data-transformation

3

Numerische Instabilität der Berechnung der inversen Kovarianzmatrix

Ich habe 65 Stichproben von 21-dimensionalen Daten ( hier eingefügt ) und konstruiere daraus die Kovarianzmatrix. Bei der Berechnung in C ++ wird hier die Kovarianzmatrix eingefügt . Und wenn ich in Matlab aus den Daten berechnet werde (wie unten gezeigt), wird die Kovarianzmatrix hier eingefügt Matlab-Code zur Berechnung von …

8 clustering matlab covariance distance-functions matrix-inverse

1

Wie nahe an Null sollte die Summe der zufälligen Effekte in GLMM sein (mit lme4)

Ich verwende das lme4Paket in R, um eine logistische Modellierung mit gemischten Effekten durchzuführen. Mein Verständnis war, dass die Summe aller zufälligen Effekte Null sein sollte. Wenn ich mit Spielzeug lineare gemischte Modelle mache lmer, sind die zufälligen Effekte normalerweise < was meine Überzeugung bestätigt, dass der Aber in Spielzeug-Binomialmodellen …

8 r lme4-nlme random-effects-model glmm

1

Bayesianische Schätzung von Dirichlet-Verteilungsparametern

Ich möchte Parameter von Dirichlet-Mischungsmodellen mithilfe der Gibbs-Probenahme schätzen und habe dazu einige Fragen: Entspricht eine Mischung von Dirichlet-Verteilungen einem Dirichlet-Prozess? Was sind ihre Hauptunterschiede, wenn nicht? Wenn ich die Parameter einer einzelnen Dirichlet-Verteilung schätzen möchte, welche Verteilung für Parameter sollte im Bayes'schen Framework als Priors ausgewählt werden? In allen …

8 bayesian estimation gibbs dirichlet-distribution

1

Ausgelassene variable Verzerrung bei linearer Regression

Ich habe eine philosophische Frage bezüglich der ausgelassenen variablen Verzerrung. Wir haben das typische Regressionsmodell (Populationsmodell) dem die Stichproben stammen , und dann eine Reihe von Bedingungen, unter denen sich die OLS-Schätzungen recht gut verhalten.Y=β0+β1X1+...+βnXn+υ,Y=β0+β1X1+...+βnXn+υ, Y= \beta_0 + \beta_1X_1 + ... + \beta_nX_n + \upsilon, (Y,X1,...,Xn)(Y,X1,...,Xn)(Y,X_1,...,X_n) Dann wissen wir, dass, …

8 regression model-selection assumptions bias

4

R: Berechnung des Mittelwerts und des Standardfehlers des Mittelwerts für Faktoren mit lm () vs. direkte Berechnung - bearbeitet

Beim Umgang mit Daten mit Faktoren kann R verwendet werden, um die Mittelwerte für jede Gruppe mit der Funktion lm () zu berechnen. Dies gibt auch die Standardfehler für die geschätzten Mittelwerte an. Dieser Standardfehler unterscheidet sich jedoch von dem, was ich aus einer manuellen Berechnung erhalte. Hier ist ein …

8 r categorical-data mean lm

1

Die Verteilung der Eigenwerte bei einem ist bekannt

Ich bin mit der Verwendung von Erkenntnissen aus der Zufallsmatrixtheorie vertraut, um die Anzahl der Hauptkomponenten aus der PCA einer Kovarianz- / Korrelationsmatrix zu bestimmen, die zur Bildung von Faktoren verwendet werden sollen. Wenn der dem ersten PC zugeordnete Eigenwert groß ist, bedeutet dies, dass die verbleibenden Eigenwerte klein sein …

8 correlation pca covariance eigenvalues random-matrix

1

Relative Vorteile der multiplen Imputation und Erwartungsmaximierung (EM)

Ich habe ein Problem wo y=a+by=a+by = a + b Ich beobachte y, aber weder noch b . Ich möchte schätzenaaabbb b=f(x)+ϵb=f(x)+ϵb = f(x) + \epsilon Ich kann mithilfe eines Regressionsmodells schätzen. Das gibt mir b . Ich könnte dann schätzenaaab^b^\hat b b^=f(x)+ϵb^=f(x)+ϵ\hat b = f(x) + \epsilon Erstes Problem: …

8 missing-data multiple-imputation expectation-maximization

5

Klassifikation vs. Regression zur Vorhersage des Vorzeichens einer kontinuierlichen Antwortvariablen

Angenommen, ich möchte vorhersagen, ob ein Projekt rentabel ist oder nicht. In meinen Beispieldaten ist die Antwortvariable tatsächlich eine kontinuierliche Variable: der $ Gewinn / Verlust des Projekts. Sollte ich eine Klassifizierungstechnik verwenden, da mein letztendliches Ziel nur eine binäre Klassifizierung ist (profitables Projekt oder unrentables Projekt)? Oder sollte ich …

8 regression classification predictive-models

2

Wie kann man zwei Algorithmen in drei Datensätzen bei der Auswahl und Klassifizierung von Features statistisch vergleichen?

Problemhintergrund: Im Rahmen meiner Forschung habe ich zwei Algorithmen geschrieben, mit denen eine Reihe von Merkmalen aus einem Datensatz ausgewählt werden können (Genexpressionsdaten von Krebspatienten). Diese Merkmale werden dann getestet, um festzustellen, wie gut sie eine unsichtbare Probe entweder als Krebs oder als Nichtkrebs klassifizieren können. Für jeden Lauf des …

8 machine-learning statistical-significance computational-statistics standardization genetic-algorithms

2

Post-hoc-Test nach 2-Faktor-Wiederholungsmessungen ANOVA in R?

Ich habe Probleme, eine Lösung für die Durchführung eines Post-hoc-Tests (Tukey HSD) nach einer ANOVA mit 2 Faktoren (beide innerhalb der Probanden) mit wiederholten Messungen in R zu finden. Für die ANOVA habe ich die aov-Funktion verwendet: summary(aov(dv ~ x1 * x2 + Error(subject/(x1*x2)), data=df1)) Nachdem ich Antworten auf andere …

8 r anova repeated-measures post-hoc tukey-hsd goodness-of-fit curve-fitting sem latent-variable mplus anova post-hoc tukey-hsd markov-process image-processing r time-series causality granger-causality anova mixed-model lme4-nlme random-effects-model r matlab data-transformation multinomial notation estimation nonparametric logistic r missing-data multiple-imputation mice

2

Wie wichtig ist Domänenwissen in unserem Beruf?

oder: Schränkt die Auswahl einer Domain bei der Eingabe eines Jobs Ihre zukünftigen Optionen für Domains und damit Jobs ein? Um diese Frage so weit wie möglich anwendbar zu machen ... Beruf bezieht sich auf alle Arten von Datenanalysten, von Statistikern über Programmierer von Maschinenlernern bis hin zu Data Minern. …

8 careers