Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

2
Was sind die Annahmen des Permutationstests?
Es wird oft behauptet, dass Permutationstests keine Annahmen haben, aber dies ist sicherlich nicht wahr. Wenn zum Beispiel meine Proben irgendwie korreliert sind, kann ich mir vorstellen, dass es nicht richtig wäre, ihre Etiketten zu vertauschen. Ich denke nur, dass ich zu diesem Problem den folgenden Satz aus Wikipedia gefunden …
1
Warum ist die Stichprobenverteilung der Varianz eine Chi-Quadrat-Verteilung?
Die Aussage Die Stichprobenverteilung der Stichprobenvarianz ist eine Chi-Quadrat-Verteilung mit einem Freiheitsgrad von , wobei n die Stichprobengröße ist (vorausgesetzt, die interessierende Zufallsvariable ist normalverteilt).n−1n−1n-1nnn Quelle Meine Intuition Es ist für mich intuitiv sinnvoll, 1) weil ein Chi-Quadrat-Test wie eine Summe aus Quadrat und 2) weil eine Chi-Quadrat-Verteilung nur eine …
2
Interpretation des mittleren absoluten skalierten Fehlers (MASE)
Der mittlere absolute Skalierungsfehler (MASE) ist ein Maß für die von Koehler & Hyndman (2006) vorgeschlagene Prognosegenauigkeit . MASE=MAEMAEin−sample,naiveMASE=MAEMAEin−sample,naiveMASE=\frac{MAE}{MAE_{in-sample, \, naive}} wobei ist der mittlere absolute Fehler der tatsächlichen Vorhersage erzeugt; während M A E i n - s a m p l e ,MAEMAEMAE ist der mittlere absolute Fehler, …
2
Warum erhalte ich in meinem gemischten Modell trotz einiger Abweichungen in den Daten keine Varianz für einen Zufallseffekt?
Wir haben eine logistische Regression mit gemischten Effekten unter Verwendung der folgenden Syntax durchgeführt. # fit model fm0 <- glmer(GoalEncoding ~ 1 + Group + (1|Subject) + (1|Item), exp0, family = binomial(link="logit")) # model output summary(fm0) Betreff und Gegenstand sind die zufälligen Effekte. Wir erhalten ein ungerades Ergebnis, bei dem …
3
Wie kann ein unsachgemäßer Vorversuch zu einer korrekten posterioren Verteilung führen?
Wir wissen, dass im Falle einer ordnungsgemäßen vorherigen Verteilung, P(θ∣X)=P(X∣θ)P(θ)P(X)P(θ∣X)=P(X∣θ)P(θ)P(X)P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)} ∝P(X∣θ)P(θ)∝P(X∣θ)P(θ) \propto P(X \mid \theta)P(\theta) . Die übliche Rechtfertigung für diesen Schritt ist, dass die Randverteilung von XXX , P(X)P(X)P(X) Bezug auf ; konstant θθ\thetaist und daher ignoriert werden kann, wenn die hintere Verteilung …
3
Warum maximale Wahrscheinlichkeit und nicht erwartete Wahrscheinlichkeit?
Warum ist es so üblich, Schätzungen der maximalen Wahrscheinlichkeit von Parametern zu erhalten, aber Sie hören so gut wie nie von Schätzungen der erwarteten Wahrscheinlichkeitsparameter (dh basierend auf dem erwarteten Wert und nicht auf dem Modus einer Wahrscheinlichkeitsfunktion)? Ist dies in erster Linie aus historischen Gründen oder aus sachlicheren technischen …
2
Clustering einer binären Matrix
Ich habe eine halbkleine Matrix mit binären Features der Dimension 250k x 100. Jede Zeile ist ein Benutzer, und die Spalten sind binäre "Tags" für ein bestimmtes Benutzerverhalten, z. B. "likes_cats". user 1 2 3 4 5 ... ------------------------- A 1 0 1 0 1 B 0 1 0 1 …
3
Simpsons Paradoxon verstehen: Andrew Gelmans Beispiel mit rückläufigem Einkommen in Bezug auf Geschlecht und Körpergröße
Andrew Gelman in einem seiner letzten Blog-Beiträge sagt: Ich glaube nicht, dass für das Simpson-Paradoxon Kontrafakten oder potenzielle Ergebnisse notwendig sind. Ich sage das, weil man Simpsons Paradoxon mit Variablen aufstellen kann, die nicht manipuliert werden können oder für die Manipulationen nicht direkt von Interesse sind. Das Simpson-Paradoxon ist Teil …
2
Auswahl des optimalen Alphas in der elastischen Netto-Logistik-Regression
Ich führe mithilfe des glmnetPakets in R eine elastisch-net logistische Regression für einen Datensatz im Gesundheitswesen durch, indem ich Lambda-Werte über ein Raster von von 0 bis 1 auswähle . Mein abgekürzter Code lautet wie folgt:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) for …
2
Wald-Test in Regression (OLS und GLM): t- vs. z-Verteilung
Ich verstehe, dass der Wald-Test für Regressionskoeffizienten auf der folgenden Eigenschaft basiert, die asymptotisch gilt (z. B. Wasserman (2006): All of Statistics , S. 153, 214-215): Wobei den geschätzten Regressionskoeffizienten bezeichnet, bezeichnet den Standardfehler des Regressionskoeffizienten und ist der interessierende Wert ( ist normalerweise 0, um zu testen, ob der …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.