Statistiken und Big Data

(Diese Frage scheint für die Philosophy SE besser geeignet zu sein. Ich hoffe, dass Statistiker meine Missverständnisse über die Aussagen von Box und Shmueli klären können, daher veröffentliche ich sie hier.) George Box (von ARIMA) sagte: "Alle Modelle sind falsch, aber einige sind nützlich." Galit Shmueli argumentiert in ihrer berühmten …

16 predictive-models  aic  bic  philosophical  explanatory-models 

Zunächst frage ich nicht: Warum bedeutet Nullkorrelation keine Unabhängigkeit? Dies wird hier (ziemlich gut) angesprochen : /math/444408/why-does-zero-correlation-not-imply-independence Was ich frage ist das Gegenteil ... sagen zwei Variablen sind völlig unabhängig voneinander. Könnten sie nicht zufällig ein kleines bisschen Korrelation haben? Sollte es nicht sein ... Unabhängigkeit impliziert SEHR KLEINE Korrelation?

16 correlation  mathematical-statistics  covariance  independence 

Manchmal habe ich gesehen, dass Lehrbücher den zweiten Parameter in der Normalverteilung als Standardabweichung und Varianz bezeichnet haben. Zum Beispiel die Zufallsvariable X ~ N (0, 4). Es ist nicht klar, ob Sigma oder Sigma im Quadrat gleich 4 ist. Ich möchte nur die allgemeine Konvention herausfinden, die verwendet wird, …

16 distributions  normal-distribution 

Wenn sich Personen in meiner Arbeit auf den "Mittelwert" eines Datensatzes beziehen, beziehen sie sich normalerweise auf den arithmetischen Mittelwert (dh "Durchschnitt" oder "Erwartungswert"). Wenn ich den geometrischen Mittelwert bereitstellen würde, würden die Leute wahrscheinlich denken, dass ich hinterhältig oder nicht hilfreich bin, da die Definition von "Mittelwert" im Voraus …

16 median  definition 

Eine korrekte Bewertungsregel ist eine Regel, die durch ein "echtes" Modell maximiert wird und kein "Absichern" oder Spielen des Systems erlaubt (absichtlich unterschiedliche Ergebnisse zu melden, wie es der wahre Glaube des Modells ist, um die Bewertung zu verbessern). Der Brier-Score ist korrekt, die Genauigkeit (Anteil richtig klassifiziert) ist nicht …

16 classification  references  roc  measurement-error  scoring-rules 

Ich bin gerade auf das "Akaike-Informationskriterium" gestoßen und habe diese große Menge an Literatur zur Modellauswahl bemerkt (auch Dinge wie BIC scheinen zu existieren). Warum nutzen moderne Methoden des maschinellen Lernens diese Auswahlkriterien für BIC- und AIC-Modelle nicht?

16 machine-learning  model-selection  aic  bic 

Was war die erste Ableitung der Normalverteilung ? Können Sie diese Ableitung reproduzieren und sie auch in ihrem historischen Kontext erklären ? Ich meine, wenn die Menschheit die Normalverteilung vergessen hätte, wie würde ich sie am wahrscheinlichsten wiederfinden und was wäre die wahrscheinlichste Ableitung? Ich würde vermuten, dass die ersten …

16 probability  distributions  normal-distribution  references  history 

Sei und Y ∼ Dist ( θ Y ) unabhängige kontinuierliche Zufallsvariablen, die aus derselben nicht spezifizierten Verteilungsform erzeugt werden, aber unterschiedliche Parameterwerte berücksichtigen. Ich bin daran interessiert, eine parametrische Verteilungsform zu finden, für die die folgende Stichprobenwahrscheinlichkeit für alle zulässigen Parameterwerte gilt:X∼Dist(θX)X∼Dist(θX)X \sim \text{Dist}(\theta_X)Y∼Dist(θY)Y∼Dist(θY)Y \sim \text{Dist}(\theta_Y) P(X>Y|θX,θY)=θ2Xθ2X+θ2Y.P(X>Y|θX,θY)=θX2θX2+θY2.\mathbb{P}(X > Y| …

16 probability  distributions 

Diese Frage wurde durch zwei kürzlich von mir durchgeführte Interaktionen inspiriert, eine hier im Lebenslauf und die andere bei economics.se. Dort hatte ich eine Antwort auf das bekannte "Envelope Paradox" gepostet (wohlgemerkt nicht als die "richtige Antwort", sondern als die Antwort, die sich aus bestimmten Annahmen über die Struktur der …

16 bayesian  mathematical-statistics  prior  theory  philosophical 

Ist es bei drei gegebenen Vektoren , und möglich, dass die Korrelationen zwischen a und b , a und c und b und c alle negativ sind? Dh ist das möglich?b c a b a c b caaabbbcccaaabbbaaacccbbbccc corr(a,b)&lt;0corr(a,c)&lt;0corr(b,c)&lt;0corr(a,b)&lt;0corr(a,c)&lt;0corr(b,c)&lt;0\begin{align} \text{corr}(a,b) < 0\\ \text{corr}(a,c) < 0 \\ \text{corr}(b,c) < 0\\ \end{align}

16 correlation  correlation-matrix 

Modellformeln in R wie y ~ x + a*b + c:d basieren auf der sogenannten Wilkinson-Notation : Wilkinson und Rogers 1973, Symbolische Beschreibung faktorieller Modelle zur Varianzanalyse . In diesem Artikel wurden keine Notationen für gemischte Modelle erörtert (die damals möglicherweise noch nicht existierten). Woher kamen also die lme4in R …

16 r  mixed-model  lme4-nlme  notation  history 

Während die Ergebnisse des privaten Testsets nicht zur weiteren Verfeinerung des Modells verwendet werden können, wird doch anhand der Ergebnisse des privaten Testsets eine Modellauswahl aus einer Vielzahl von Modellen durchgeführt. Würden Sie nicht allein durch diesen Prozess zu einer Überanpassung des privaten Test-Sets führen? Laut "Pseudomathematik und Finanzscharlatanismus: Die …

16 model-selection  overfitting  out-of-sample 

Eine zufällige Bevölkerungsstichprobe wurde erhoben. Sie wurden gefragt, ob sie vegetarisch essen. Wenn sie mit Ja geantwortet haben, wurden sie auch gebeten, anzugeben, wie lange sie ohne Unterbrechung vegetarisch ernährt haben. Ich möchte diese Daten verwenden, um die durchschnittliche Dauer der Einhaltung des Vegetarismus zu berechnen. Mit anderen Worten, wenn …

16 survival  mean  missing-data  survey  weighted-mean 

Betrachte die Gamma-Zufallsvariable . Es gibt übersichtliche Formeln für Mittelwert, Varianz und Schiefe:X∼Γ(α,θ)X∼Γ(α,θ)X\sim\Gamma(\alpha, \theta) E[X]Var[X]Skewness[X]=αθ=αθ2=1/α⋅E[X]2=2/α−−√E[X]=αθVar⁡[X]=αθ2=1/α⋅E[X]2Schiefe⁡[X]=2/α\begin{align} \mathbb E[X]&=\alpha\theta\\ \operatorname{Var}[X]&=\alpha\theta^2=1/\alpha\cdot\mathbb E[X]^2\\ \operatorname{Skewness}[X]&=2/\sqrt{\alpha} \end{align} Betrachten Sie nun eine logarithmisch transformierte Zufallsvariable . Wikipedia gibt Formeln für den Mittelwert und die Varianz an:Y=log(X)Y.=Log⁡(X)Y=\log(X) E[Y]Var[Y]=ψ(α)+log(θ)=ψ1(α)E[Y.]=ψ(α)+Log⁡(θ)Var⁡[Y.]=ψ1(α)\begin{align} \mathbb E[Y]&=\psi(\alpha)+\log(\theta)\\ \operatorname{Var}[Y]&=\psi_1(\alpha)\\ \end{align} über Digamma- und Trigammafunktionen, die als …

16 gamma-distribution  skewness  logarithm 

Ich las einen Artikel und sah den folgenden Satz: Wenn für ein bestimmtes Martingal eine obere oder untere Schranke vorliegt, muss das Martingal konvergieren (as). Da die Wahrscheinlichkeit immer nicht negativ ist, ist 0 eine Untergrenze. Wofür steht "as"? Ist es eine übliche Verwendung? Meine Vermutung ist "asymptotisch", aber ich …

16 abbreviation