Statistiken und Big Data

2

Die Kollinearitätsdiagnose ist nur dann problematisch, wenn der Interaktionsterm enthalten ist

Ich habe eine Regression für US-Grafschaften durchgeführt und überprüfe die Kollinearität meiner "unabhängigen" Variablen. Belsley, Kuh und Welschs Regressionsdiagnostik schlagen vor, den Bedingungsindex und die Varianzzerlegungsproportionen zu untersuchen: library(perturb) ## colldiag(, scale=TRUE) for model with interaction Condition Index Variance Decomposition Proportions (Intercept) inc09_10k unins09 sqmi_log pop10_perSqmi_log phys_per100k nppa_per100k black10_pct hisp10_pct …

26 r multicollinearity vif variance-decomposition

2

Wie berechnet man die SVD einer riesigen, dünn besetzten Matrix?

Was ist der beste Weg, um die Singulärwertzerlegung (SVD) einer sehr großen positiven Matrix (65M x 3,4M) zu berechnen, bei der die Daten extrem dünn sind? Weniger als 0,1% der Matrix ist nicht Null. Ich brauche einen Weg, der: passt in den Speicher (ich weiß, dass Online-Methoden existieren) wird in …

26 svd numerics

2

Variablen für multiple Regression in R transformieren

Ich versuche, eine multiple Regression in durchzuführen R. Meine abhängige Variable hat jedoch das folgende Diagramm: Hier ist eine Streudiagramm-Matrix mit allen meinen Variablen ( WARist die abhängige Variable): Ich weiß, dass ich eine Transformation für diese Variable (und möglicherweise für die unabhängigen Variablen?) Durchführen muss, bin mir jedoch nicht …

26 r regression multiple-regression data-transformation

3

Wie interpretiere ich die 'Korrelationen fester Effekte' in meiner glmer Ausgabe?

Ich habe folgende Ausgabe: Generalized linear mixed model fit by the Laplace approximation Formula: aph.remain ~ sMFS2 +sAG2 +sSHDI2 +sbare +season +crop +(1|landscape) AIC BIC logLik deviance 4062 4093 -2022 4044 Random effects: Groups Name Variance Std.Dev. landscape (Intercept) 0.82453 0.90804 Number of obs: 239, groups: landscape, 45 Fixed effects: …

26 mixed-model poisson-distribution lme4-nlme

3

Warum werden Gaußsche Prozessmodelle als nicht parametrisch bezeichnet?

Ich bin etwas verwirrt. Warum werden Gaußsche Prozesse als nicht parametrische Modelle bezeichnet? Sie gehen davon aus, dass die funktionalen Werte oder eine Teilmenge davon einen Gaußschen Wert vor dem Mittelwert 0 und eine Kovarianzfunktion als Kernelfunktion haben. Diese Kernelfunktionen selbst haben einige Parameter (dh Hyperparameter). Warum heißen sie dann …

26 nonparametric gaussian-process

2

Vorteile von „doppeltem Lasso“ oder zweimaligem Lasso?

Ich habe einmal eine Methode gehört, das Lasso zweimal zu verwenden (wie ein Doppel-Lasso), bei der Sie Lasso für die ursprüngliche Menge von Variablen ausführen, z. B. S1, eine dünn besetzte Menge mit der Bezeichnung S2 erhalten und dann erneut Lasso für die Menge S2 ausführen, um die Menge S3 …

26 regression lasso regularization shrinkage lars

5

Strategien zur Einführung erweiterter Statistiken für verschiedene Zielgruppen

Ich arbeite hauptsächlich mit Nicht-Statistikern in Bereichen wie Medizin, Sozialwissenschaften und Bildung. Egal, ob ich mit Doktoranden berate, Forschern bei Artikeln helfe oder Artikel für Zeitschriften überprüfe, ich habe oft das Problem, dass jemand (Kunde, Autor, Dissertationskomitee, Zeitschriftenredakteur) eine relativ bekannte Technik anwenden möchte, wenn diese entweder vollständig ist unangemessen …

26 consulting

1

Kann der Mantel-Test auf asymmetrische Matrizen erweitert werden?

Der Mantel-Test wird normalerweise auf symmetrische Distanz- / Differenzmatrizen angewendet. Nach meinem Verständnis geht der Test davon aus, dass das zur Definition von Differenzen verwendete Maß mindestens eine Halbmetrik sein muss (den Standardanforderungen einer Metrik, aber nicht der Dreiecksungleichung entsprechen). Kann die Annahme der Symmetrie gelockert werden (unter Angabe einer …

26 statistical-significance assumptions distance

6

Passen Sie einen sinusförmigen Term an Daten an

Obwohl ich diesen Beitrag gelesen habe, weiß ich immer noch nicht, wie ich das auf meine eigenen Daten anwenden soll, und hoffe, dass mir jemand helfen kann. Ich habe folgende Daten: y <- c(11.622967, 12.006081, 11.760928, 12.246830, 12.052126, 12.346154, 12.039262, 12.362163, 12.009269, 11.260743, 10.950483, 10.522091, 9.346292, 7.014578, 6.981853, 7.197708, 7.035624, …

26 r regression fitting

3

Themenmodelle und Methoden zum gemeinsamen Auftreten von Wörtern

Beliebte Themenmodelle wie LDA bilden in der Regel Clusterwörter, die in der Regel zusammen in einem Thema (Cluster) vorkommen. Was ist der Hauptunterschied zwischen solchen Themenmodellen und anderen einfachen Clustering-Ansätzen auf der Basis von Koexistenz wie PMI? (PMI steht für Pointwise Mutual Information und wird verwendet, um die Wörter zu …

26 machine-learning text-mining natural-language topic-models

6

Stichprobengröße für logistische Regression?

Ich möchte aus meinen Umfragedaten ein logistisches Modell erstellen. Es handelt sich um eine kleine Umfrage unter vier Wohnkolonien, bei der nur 154 Befragte befragt wurden. Meine abhängige Variable ist "zufriedenstellender Übergang zur Arbeit". Ich fand heraus, dass von den 154 Befragten 73 sagten, dass sie zufriedenstellend zur Arbeit übergegangen …

26 logistic sample-size assumptions power unbalanced-classes

2

Geometrische Interpretation der bestraften linearen Regression

Ich weiß, dass lineare Regression als "die Linie gedacht werden kann, die allen Punkten vertikal am nächsten ist" : Es gibt aber auch eine andere Möglichkeit, den Spaltenraum als "Projektion auf den Raum, der von den Spalten der Koeffizientenmatrix aufgespannt wird" zu visualisieren : Meine Frage ist: Was passiert in …

26 regression intuition geometry

1

Wie werden Koeffizientenstandardfehler in der linearen Regression interpretiert?

Ich frage mich, wie man die Koeffizienten-Standardfehler einer Regression interpretiert, wenn man die Anzeigefunktion in R verwendet. Zum Beispiel in der folgenden Ausgabe: lm(formula = y ~ x1 + x2, data = sub.pyth) coef.est coef.se (Intercept) 1.32 0.39 x1 0.51 0.05 x2 0.81 0.02 n = 40, k = 3 …

26 r regression interpretation

7

Was ist die empfohlene Mindestanzahl von Gruppen für einen Zufallseffektfaktor?

Ich verwende ein gemischtes Modell in R( lme4), um einige Messwiederholungsdaten zu analysieren. Ich habe eine Reaktionsvariable (Fasergehalt von Kot) und 3 feste Effekte (Körpermasse usw.). Meine Studie hat nur 6 Teilnehmer mit jeweils 16 Wiederholungsmessungen (obwohl zwei nur 12 Wiederholungen haben). Die Versuchspersonen sind Eidechsen, denen in verschiedenen "Behandlungen" …

26 mixed-model sample-size

2

Wann sollte der Wilcoxon-Rang-Summen-Test anstelle des ungepaarten T-Tests verwendet werden?

Dies ist eine Folgefrage zu dem, was Frank Harrell hier geschrieben hat : Nach meiner Erfahrung ist der erforderliche Stichprobenumfang für die Genauigkeit der t-Verteilung häufig größer als der vorliegende Stichprobenumfang. Der Wilcoxon-Signed-Rank-Test ist, wie Sie sagten, äußerst effizient und robust. Daher bevorzuge ich ihn fast immer dem T-Test Wenn …

26 t-test wilcoxon-mann-whitney