Statistiken und Big Data

Bei der Auswahl einer Bandbreite für einen Kernel Density Estimator ist nach meinem Verständnis die kritische Bandbreite: "Für jede ganze Zahl k, wo 1<k<nwir die minimale Breite finden können, h(k)so dass die Kernel-Dichteschätzung höchstens k Maxima hat. Silverman nennt diese h(k)Werte" kritische Breiten ". Ich verstehe dieses Konzept nicht intuitiv. …

8 econometrics  kernel-smoothing 

Eine Übungsfrage stellt Sei X1,X2X1,X2X_1, X_2 rvs mit einer gemeinsamen Normalverteilung N(0,1)N(0,1)N(0,1) mit Corr(X1,X2)=ρCorr⁡(X1,X2)=ρ\operatorname{Corr}(X_1, X_2) = \rho . Berechnen Sie den Koeffizienten der Abhängigkeit des oberen Schwanzes für alle ρ∈[−1,1]ρ∈[−1,1]\rho \in [-1, 1] . Was bedeutet es damit, dass sie eine "gemeinsame" Normalverteilung haben? Mein erster Gedanke war, dass sowohl …

8 probability  random-variable  heavy-tailed 

Ich habe kürzlich den folgenden Quantilschätzer für eine kontinuierliche Zufallsvariable in einer (nicht statistischen, angewandten) Arbeit gefunden: Für einen 100-langen Vektor xxx wird das 1% -Quantil mit min ( x )Mindest(x)\min(x) geschätzt . So funktioniert es: Im Folgenden finden Sie eine Darstellung der Kerneldichte der Realisierungen des min ( x …

8 quantiles 

Dies ist eher eine historische Frage: Wer hat die Notation Erfunden für die Bezeichnung (bedingte) Unabhängigkeit?⊥⊥⊥⊥\perp \!\!\! \perp

8 probability  notation  history 

Angenommen, wir beobachten die Daten Y,XY,XY, X und möchten ein Regressionsmodell für E[Y|X]E[Y|X]\mathbf{E}[Y \,|\, X] . Leider wirdYYY manchmal mit Fehlern gemessen, deren Mittelwert ungleich Null ist. Es sei Z∈{unbiased,biased}Z∈{unbiased,biased}}Z \in \left\{\text{unbiased}, \text{biased}\right\} anzugeben, ob Y.Y.Y mit klassischen Fehlern mit einem Mittelwert von Null bzw. mit einem Fehler ungleich Null …

8 regression  bias  measurement-error  weighted-regression 

Angenommen, Sie passen ein Modell . Gibt es praktische Implikationen für die Abschätzung des Interaktionseffekts, wenn und korreliert sind?y= x1+ x2+ x1× x2y=x1+x2+x1×x2y = x_1 + x_2 + x_1\times x_2x1x1x_1x2x2x_2 Ich verstehe, dass es Kollinearitätsprobleme geben könnte, wenn und sehr korreliert sind, aber das sollte den Interaktionsterm nicht beeinflussen, oder?x1x1x_1x2x2x_2

8 regression  correlation  interaction 

Es fällt mir schwer, bei der Validierung meines Modells auf die gleiche Seite wie mein Vorgesetzter zu gelangen. Ich habe die Rückstände analysiert (anhand der angepassten Werte beobachtet) und dies als Argument verwendet, um die von meinem Modell erzielten Ergebnisse zu diskutieren. Mein Vorgesetzter besteht jedoch darauf, dass die einzige …

8 r  references  glmm  validation  glmmtmb 

Angenommen, und sind zwei zufällige Variablen, deren Komponenten binäre RVs sind (daher ) und beide ( und ) sind austauschbar, dhX=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X_1, ..., X_n),: (\Omega, A,P)\to (\{0,1\}^n, 2^{{\{0,1\}}^n})Y=(Y1,...,Yn):(Ω,A,P)→({0,1}n,2{0,1}n)Y=(Y1,...,Yn):(Ω,A,P)→({0,1}n,2{0,1}n)Y=(Y_1, ..., Y_n):(\Omega, A,P)\to (\{0,1\}^n, 2^{{\{0,1\}}^n})Xi(ω)∈{0,1},Yi(ω)∈{0,1}Xi(ω)∈{0,1},Yi(ω)∈{0,1}X_i(\omega)\in\{0,1\}, Y_i(\omega) \in \{0,1\}XXXYYYP((X1,...,Xn)=(x1,...,xn))=P((Xσ(1),...,Xσ(n))=(x1,...,xn))P((X1,...,Xn)=(x1,...,xn))=P((Xσ(1),...,Xσ(n))=(x1,...,xn))P((X_1, ..., X_n)=(x_1, ..., x_n))= P((X_{\sigma(1)}, ..., X_{\sigma(n)})=(x_1, ..., x_n)) und P((Y1,...,Yn)=(y1,...,yn))=P((Yσ(1),...,Yσ(n))=(y1,...,yn))P((Y1,...,Yn)=(y1,...,yn))=P((Yσ(1),...,Yσ(n))=(y1,...,yn))P((Y_1, ..., Y_n)=(y_1, ..., y_n))= …

8 bayesian  exchangeability 

Ich habe eine Zufallsvariable und kenne .Y=eX1+eXY=eX1+eXY = \frac{e^{X}}{1 + e^{X}}X∼N(μ,σ2)X∼N(μ,σ2)X \sim N(\mu, \sigma^2) Gibt es eine Möglichkeit, zu berechnen ? Ich habe versucht, das Integral herauszuarbeiten, aber keine großen Fortschritte gemacht. Ist es überhaupt möglich?E(Y)E(Y)\mathbb{E}(Y)

8 logistic  normal-distribution  expected-value 

Ich habe diese Frage in einem Quiz erhalten und gefragt, was der Trainingsfehler für einen KNN-Klassifikator sein wird, wenn K = 1 ist. Was bedeutet Training für einen KNN-Klassifikator? Mein Verständnis des KNN-Klassifikators war, dass er den gesamten Datensatz berücksichtigt und jeder neuen Beobachtung den Wert der Mehrheit der nächsten …

8 classification  supervised-learning  k-nearest-neighbour 

Wäre es sinnvoll, ein Modell absichtlich zu überpassen? Angenommen, ich habe einen Anwendungsfall, bei dem ich weiß, dass die Daten in Bezug auf die Trainingsdaten nicht wesentlich variieren. Ich denke hier an die Verkehrsvorhersage, bei der der Verkehrsstatus einem festen Satz von Mustern folgt Morgen pendeln Nachtaktivität und so weiter. …

8 machine-learning  time-series  forecasting  prediction  overfitting 

Basierend auf Gradient Boosting Tree vs Random Forest . GBDT und RF verwenden unterschiedliche Strategien, um Verzerrung und Varianz zu bekämpfen. Meine Frage ist, ob ich einen Datensatz (mit Ersatz) erneut abtasten kann, um mehrere GBDT zu trainieren und ihre Vorhersagen als Endergebnis zu kombinieren. Es ist gleichbedeutend damit, eine …

8 random-forest  cart  boosting  bagging  gradient 

Angenommen, wir haben den folgenden Datenrahmen: TY_MAX 141 1.004622 142 1.004645 143 1.004660 144 1.004672 145 1.004773 146 1.004820 147 1.004814 148 1.004807 149 1.004773 150 1.004820 151 1.004814 152 1.004834 153 1.005117 154 1.005023 155 1.004928 156 1.004834 157 1.004827 158 1.005023 159 1.005248 160 1.005355 25th: 1.0031185409705132 50th: …

8 quantiles  statsmodels 

Die zusammengefasste Version meiner Frage (26. Dezember 2018) Ich versuche, Abbildung 2.2 aus Computer Age Statistical Inference von Efron und Hastie zu reproduzieren , aber aus irgendeinem Grund, den ich nicht verstehen kann, stimmen die Zahlen nicht mit denen im Buch überein. Angenommen, wir versuchen, zwischen zwei möglichen Wahrscheinlichkeitsdichtefunktionen für …

8 self-study  python  likelihood-ratio  neyman-pearson-lemma 

Nehmen wir an, wir haben zwei voreingenommene Münzen C1und C2beide haben eine unterschiedliche Wahrscheinlichkeit, den Kopf zu drehen. Wir werfen C1 n1Zeiten und bekommen H1Köpfe, C2 n2Zeiten und bekommen H2Köpfe. Und wir stellen fest, dass das Verhältnis der Köpfe für eine Münze höher ist als für die andere. Mit welcher …

8 probability  bernoulli-distribution