Statistiken und Big Data

2

Wenn Daten eine Gauß-Verteilung haben, wie viele Stichproben werden sie charakterisieren?

Gaußsche Daten, die in einer einzigen Dimension verteilt sind, erfordern zwei Parameter, um sie zu charakterisieren (Mittelwert, Varianz), und es geht das Gerücht, dass etwa 30 zufällig ausgewählte Stichproben normalerweise ausreichen, um diese Parameter mit hinreichend hoher Sicherheit abzuschätzen. Aber was passiert, wenn die Anzahl der Dimensionen zunimmt? In zwei …

12 normal-distribution multivariate-analysis

2

Name des von Gelman berichteten „Paradoxons“

In Andrew Gelmans Buch "Roter Staat, Blauer Staat" analysiert er die Tatsache, dass reiche Menschen in bestimmten Staaten tendenziell mehr Republikaner als Arme wählen, wohlhabende Staaten jedoch tendenziell demokratischer als arme Staaten. Gibt es einen Namen für dieses Paradoxon? Es scheint mir mit dem ökologischen Paradox verwandt, aber nicht identisch …

12 paradox

2

Verhältnis von Summe von Normal zu Summe von Würfeln von Normal

Bitte helfen Sie mir, die einschränkende Verteilung (als ) der folgenden zu finden: wo uiv .n→∞n→∞n \rightarrow \inftyUn=X1+X2+…+XnX31+X32+…X3n,Un=X1+X2+…+XnX13+X23+…Xn3, U_n = \frac{X_1 + X_2 + \ldots + X_n}{X_1^3 + X_2^3 + \ldots X_n^3},XiXiX_iN(0,1)N(0,1)N(0,1)

12 distributions normal-distribution asymptotics

2

Wie teste ich in Poisson GLMM mit lmer () in R auf Überdispersion?

Ich habe folgendes Modell: > model1<-lmer(aph.remain~sMFS1+sAG1+sSHDI1+sbare+season+crop +(1|landscape),family=poisson) ... und das ist die Zusammenfassung. > summary(model1) Generalized linear mixed model fit by the Laplace approximation Formula: aph.remain ~ sMFS1 + sAG1 + sSHDI1 + sbare + season + crop + (1 | landscape) AIC BIC logLik deviance 4057 4088 -2019 4039 …

12 r poisson-distribution lme4-nlme glmm overdispersion

3

Naive Bayes-Feature-Wahrscheinlichkeiten: Soll ich Wörter doppelt zählen?

Ich erstelle einen Prototyp meines eigenen Naive Bayes-Modells und hatte eine Frage zur Berechnung der Merkmalswahrscheinlichkeiten. Nehmen wir an, ich habe zwei Klassen, ich verwende nur Spam und nicht Spam, da dies von allen verwendet wird. Nehmen wir als Beispiel das Wort "viagra". Ich habe 10 E-Mails in meinem Trainingsset, …

12 classification conditional-probability naive-bayes

2

Wie ist die erwartete Verteilung der Residuen in einem verallgemeinerten linearen Modell?

Ich führe ein verallgemeinertes lineares Modell durch, bei dem ich eine andere als die normale Familie angeben muss. Wie ist die erwartete Verteilung der Residuen? Sollen die Residuen beispielsweise normal verteilt werden?

12 generalized-linear-model residuals normality-assumption

3

Alternative zur Einweg-ANOVA ungleiche Varianz

Ich möchte die Mittelwerte über drei Gruppen gleicher Größe vergleichen (gleiche Stichprobengröße ist klein, 21). Die Mittelwerte jeder Gruppe sind normalerweise verteilt, aber ihre Varianzen sind ungleich (getestet über Levene's). Ist eine Transformation der beste Weg in dieser Situation? Sollte ich zuerst etwas anderes in Betracht ziehen?

12 anova variance heteroscedasticity

5

Feature Selection Packages in R, die sowohl Regression als auch Klassifikation ausführen

Verschlossen . Diese Frage und ihre Antworten sind gesperrt, da die Frage nicht zum Thema gehört, aber von historischer Bedeutung ist. Derzeit werden keine neuen Antworten oder Interaktionen akzeptiert. Ich bin sehr neu in R. Ich lerne gerade maschinelles Lernen. Es tut mir sehr leid, wenn diese Frage sehr einfach …

12 r feature-selection

2

Differenz der gemeldeten p-Werte zwischen lm und aov in R

Was erklärt die Unterschiede in p-Werten im Folgenden aovund lmruft auf? Liegt der Unterschied nur an unterschiedlichen Arten von Quadratsummenberechnungen? set.seed(10) data=rnorm(12) f1=rep(c(1,2),6) f2=c(rep(1,6),rep(2,6)) summary(aov(data~f1*f2)) summary(lm(data~f1*f2))$coeff

12 r regression anova linear-model sums-of-squares

5

Ist die Zahl 20 Magie?

Ich habe Referenzen, die empfohlen haben, eine Stichprobengröße von mindestens 20 für die Verteilung von Datenanpassungen zu berücksichtigen. Hat das einen Sinn? Vielen Dank

12 sample-size

3

Ist das Mundlak-Verfahren für feste Effekte für die logistische Regression mit Dummies anwendbar?

Ich habe einen Datensatz mit 8000 Clustern und 4 Millionen Beobachtungen. Leider läuft meine Statistiksoftware Stata ziemlich langsam, wenn sie ihre Paneldatenfunktion für die logistische Regression verwendet: xtlogitSelbst bei einer Teilstichprobe von 10%. Bei Verwendung der Nonpanel- logitFunktion erscheinen die Ergebnisse jedoch viel früher. Daher kann ich möglicherweise von der …

12 logistic categorical-data stata fixed-effects-model

3

ROC-Kurve, welche die Diagonale kreuzt

Im Moment führe ich einen binären Klassifikator aus. Wenn ich die ROC-Kurve zeichne, bekomme ich am Anfang einen guten Auftrieb, dann ändert sich die Richtung und kreuzt die Diagonale, dann natürlich wieder nach oben, wodurch die Kurve eine geneigte S-Form erhält. Was kann eine Interpretation / Erklärung für diesen Effekt …

12 roc

3

Vorhersage von Zähldaten mit zufälliger Gesamtstruktur

Kann ein Random Forest trainiert werden, um die Zähldaten angemessen vorherzusagen? Wie würde das gehen? Ich habe einen ziemlich großen Wertebereich, daher ist eine Klassifizierung nicht wirklich sinnvoll. Wenn ich die Regression verwenden würde, würde ich die Ergebnisse einfach abschneiden? Ich bin hier ziemlich verloren. Irgendwelche Ideen?

12 r regression random-forest prediction count-data

2

QQ-Plot stimmt nicht mit Histogramm überein

Ich habe ein Histogramm, eine Kerneldichte und eine angepasste Normalverteilung der Finanzprotokollrenditen, die in Verluste umgewandelt werden (Vorzeichen werden geändert), und ein normales QQ-Diagramm dieser Daten: Das QQ-Diagramm zeigt deutlich, dass die Schwänze nicht richtig montiert sind. Wenn ich mir aber das Histogramm und die angepasste Normalverteilung (blau) anschaue, werden …

12 data-visualization normality-assumption histogram qq-plot

1

Notationen für gemischte Modelle abstimmen

Ich kenne Notationen wie: wobeiβ0j=β0+uyij=β0+βixij+uj+eij=β0j+βixij+eijyij=β0+βixij+uj+eij=β0j+βixij+eij\begin{align} y_{ij} &= \beta_0 + \beta_i x_{ij} + u_j + e_{ij}\\ &= \beta_{0j} + \beta_i x_{ij} + e_{ij} \end{align} , undβ0j=β0+ujβ0j=β0+uj\beta_{0j}=\beta_{0}+u_j wobeiβ0j=β0+u0jundβ1j=β1+u1jyij=β0+β1xij+u0j+u1jxij+eij=β0j+β1jxij+eijyij=β0+β1xij+u0j+u1jxij+eij=β0j+β1jxij+eij\begin{align} y_{ij} &= \beta_0 + \beta_1 x_{ij} + u_{0j} + u_{1j} x_{ij} + e_{ij} \\ &= \beta_{0j} + \beta_{1j} x_{ij} + e_{ij} \end{align}β0j=β0+u0jβ0j=β0+u0j\beta_{0j}=\beta_{0}+u_{0j}β1j=β1+u1jβ1j=β1+u1j\beta_{1j}=\beta_1+u_{1j} für ein …

12 mixed-model mathematical-statistics