Statistiken und Big Data

Nächste Woche werde ich meinen Schülern die Score-Funktion und ihre Varianz beibringen (dh: Informationen für Fischer ). Ich suche nach Möglichkeiten, diese Konzepte zu veranschaulichen, um meinen Schülern zu helfen, sie zu verstehen (und sie nicht nur für verschiedene Verteilungen zu berechnen, was im Unterricht häufig gemacht wird). Irgendwelche Vorschläge …

8 likelihood  teaching  fisher-information  scoring-rules 

Ich habe zum ersten Mal ein GLM in R ausgeführt und bin mir nicht sicher, wie ich das Ergebnis interpretieren soll. Dies ist die Eingabe: global.modelAcar <- lm(Acar ~ logNutrientsc*logNDSc*logNNNc, data = dat) summary(global.modelAcar) options(na.action=na.fail) MAcar <- dredge(global.modelAcar) MAcar und dies sind die ersten Zeilen des Ergebnisses: Global model call: …

8 r  generalized-linear-model  interpretation  ecology 

Warum in der Literatur normalerweise die gängigen Genauigkeitsmaße wie MAD, MSE, RMSE, MAPE ... verwendet werden. Warum nicht den (Bestimmungskoeffizient) verwenden?R2R2R^2 Ich habe über den Unterschied nachgedacht: Mit der MSE kann ich den Durchschnitt der Prognose vergleichen. Und wenn ich benutze, bekomme ich Informationen über die Varianz.R2R2R^2 Warum wird der …

8 forecasting  r-squared  accuracy  mse  mae 

Die Beta-Verteilung hängt damit zusammen, dass Binomial auch die Verteilung für Auftragsstatistiken ist . Wahrscheinlichkeitsmassenfunktion der Binomialverteilung ist f(k)=(nk)pk(1−p)n−k(1)(1)f(k)=(nk)pk(1−p)n−k f(k) = {n \choose k} p^k (1-p) ^{n-k} \tag{1} Die Wahrscheinlichkeitsdichtefunktion der Beta-Verteilung ist g(p)=1B(α,β)pα−1(1−p)β−1(2)(2)g(p)=1B(α,β)pα−1(1−p)β−1 g(p) = \frac{1}{\mathrm{B}(\alpha, \beta)} p^{\alpha-1} (1-p)^{\beta-1} \tag{2} wir können (nk)(nk)n \choose k in (1) umschreiben als …

8 references  binomial  proportion  beta-distribution 

Ich habe einige Beispiele von Daten der Form und . Ich möchte eine Ebene an die Daten mit den kleinsten mittleren quadratischen Fehlern anpassen.x,yx,yx,yz=f(x,y)z=f(x,y)z=f(x,y)z=Ax+By+Cz=EINx+B.y+C.z = Ax + By + C Ich habe in Abschnitt 3 dieses Dokuments eine "Antwort" gefunden , die jedoch in Form einiger zu lösender Gleichungen verbleibt. …

8 regression  regression-coefficients 

Meine Frage lautet wie folgt: Stellen wir uns vor, ich habe Cluster in meinen Daten definiert (verschiedene Kundensegmente) und führe einen A / B-Test durch. Kann ich die Leistungen der verschiedenen Cluster beim A / B-Test vergleichen? Ich habe nicht viel Literatur darauf gefunden (tatsächlich fast keine), also habe ich …

8 hypothesis-testing  statistical-significance  clustering 

Ich habe eine Frage zur linearen Regression im Allgemeinen. Angenommen, wir haben den folgenden Datengenerierungsprozess:yi=xiβ+ϵiyi=xiβ+ϵiy_{i}=x_{i}\beta+\epsilon_{i} Nach meinem Verständnis ist jede Beobachtung eine Zufallsvariable, dh jedes hat einen bedingten Mittelwert , dh : unter Exogenitätsannahmen. Meine Frage lautet wie folgt. Was ist das bedingungslose Mittel von ? Was bedeutet wirklich, wenn …

8 regression  conditional-expectation 

Ich möchte beobachtete bivariate (Pearson's und Spearman's ) Korrelationskoeffizienten mit dem vergleichen, was von zufälligen Daten erwartet wird.ρρ\rhoρρ\rho Angenommen, wir messen beispielsweise 36 Fälle über sehr viele Variablen (1000). (Ich weiß, dass dies seltsam ist, es wird Q-Methodik genannt . Nehmen wir weiter an, dass jede der Variablen (streng) normal …

8 r  distributions  correlation  pearson-r  spearman-rho 

Was sind die Eigenfunktionen und die Eigenwerte des Exponentialkerns? Der exponentielle Kernel ist definiert als k(x,x′)=σ2exp(||x−x′||l)k(x,x′)=σ2exp⁡(||x−x′||l)k(x,x')=\sigma^2\exp\left(\frac{||x-x'||}{l}\right) wo beides σ>0σ>0\sigma>0 und l>0l>0l>0. Das Mercers-Theorem sagt uns das für jede Kernelfunktion k(x,x′)k(x,x′)k(x,x') Es gibt eine Zerlegung der Eigenfunktionen ϕi(x)ϕi(x)\phi_i(x) und entsprechende Eigenwerte λiλi\lambda_i so dass k(x,x′)=∑i=1∞λiϕi(x)ϕi(x)k(x,x′)=∑i=1∞λiϕi(x)ϕi(x)k(x,x')=\sum_{i=1}^\infty \lambda_i \phi_i(x)\phi_i(x) Die Fourier-Transformation F(k)(ω)=12π−−√∫∞−∞k(r)eiωrdrF(k)(ω)=12π∫−∞∞k(r)eiωrdr\mathcal{F}(k)(\omega)=\frac{1}{\sqrt{2 \pi}} …

8 kernel-trick 

Ich habe versucht, Cox 'Theorem und die damit verbundenen Probleme zu verstehen. Es gibt so viele Informationen zu diesem Thema, dass ich hinsichtlich des genauen Zustands des Satzes verwirrt bin. Ich habe festgestellt, dass es drei Hauptthemen gibt, aber da sie eine Vielzahl von Themen abdecken, habe ich sie in …

8 probability  bayesian  mathematical-statistics  conditional-probability  theory 

Ich habe Daten aus einem Experiment, in dem ich die Entwicklung von Algenbiomasse als Funktion der Konzentration eines Nährstoffs untersuche. Die Beziehung zwischen Biomasse (der Antwortvariablen) und der Konzentration (der erklärenden Variablen) ist mehr oder weniger unimodal, mit einem klaren "Optimum" entlang der x-Achse, wo die Biomasse ihren Höhepunkt erreicht. …

8 bootstrap  monte-carlo  gam  uncertainty 

Ich möchte eine Hypothese mit einem Bootstrap testen (zwei Beispiel-Student-T-Tests). In Efron und Tibshirani 1993, S. 224, gibt es dafür einen expliziten Code: Subtrahieren Sie für jede Beobachtung den Gruppenmittelwert und addieren Sie den Gesamtmittelwert, wobei der Gesamtmittelwert der Mittelwert der kombinierten Stichproben ist. Sie behaupten, wir sollten Distributionen unter …

8 hypothesis-testing  t-test  bootstrap 

Ich arbeite an dem Beweis, warum die exponentielle Glättung ein voreingenommener Schätzer eines linearen Trends ist. Das Buch versucht, den erwarteten Wert einer exponentiell geglätteten Zeitreihe zu beschreiben. Es ist einer dieser Schritte, denen ich nur schwer folgen kann. Für unendliche Summen behauptet das Buch, dass Folgendes gilt: ∑(1−λ)t=11−(1−λ)=1λ∑(1−λ)t=11−(1−λ)=1λ\sum (1-\lambda)^t=\frac{1}{1-(1-\lambda)}=\frac{1}{\lambda} …

8 time-series  bias  proof  exponential-smoothing 

Mit dem bekannten Datensatz "Überleben der Passagiere auf der Titanic" bekomme ich ein seltsames Verhalten, wenn ich den Tarif gegen das Alter zeichne (siehe unten). Ohne eine Einschränkung für Pclass ist die Korrelation positiv. Im Gegensatz dazu scheinen die Korrelationen für alle Klassen negativ zu sein. Ich nehme an, das …

8 simpsons-paradox 

Ich verstehe das Problem der Bestimmung der Freiheitsgrade in Mehrebenenmodellen; Daher ist die Entscheidung von Doug Bates et al. p-Werte nicht als Teil des lme4-Pakets in R zu melden. Ganz zu schweigen von der Fülle von Problemen mit und der unangemessenen Konzentration auf p-Werte im Allgemeinen. Ich möchte jedoch die …

8 t-test  lme4-nlme  mixed-model