Statistiken und Big Data

1

Gleichung für die Varianzinflationsfaktoren

Nach einer zuvor gestellten Frage können die Varianzinflationsfaktoren (VIFs) ausgedrückt werden als ist die skalierte Version vonVIFj=Var(b^j)σ2=[w′jwj−w′jW−j(W′−jW−j)−1W′−jwj]−1VIFj=Var(b^j)σ2=[wj′wj−wj′W−j(W−j′W−j)−1W−j′wj]−1 \textrm{VIF}_j = \frac{\textrm{Var}(\hat{b}_j)}{\sigma^2} = [\mathbf{w}_j^{\prime} \mathbf{w}_j - \mathbf{w}_j^{\prime} \mathbf{W}_{-j} (\mathbf{W}_{-j}^{\prime} \mathbf{W}_{-j})^{-1} \mathbf{W}_{-j}^{\prime} \mathbf{w}_j]^{-1} WW\mathbf{W}XX\mathbf{X} Kann mir jemand zeigen, wie ich von hier zur Gleichung ist der Koeffizient der Mehrfachbestimmung, der durch Regression von …

8 multiple-regression vif

1

Man beweise, dass für nicht negative Zufallsvariablen nicht abnimmt

Wie kann man für eine nichtnegative Zufallsvariable beweisen, dass in abnimmt ?XXXE(Xn)1nE(Xn)1nE(X^n)^{\frac1n}nnn

8 mathematical-statistics random-variable moments

2

Warum ähnelt der erste Eigenvektor in PCA der Ableitung eines zugrunde liegenden Trends?

Ich verwende PCA, um mehrere räumlich verwandte Zeitreihen zu analysieren, und es scheint, dass der erste Eigenvektor der Ableitung des mittleren Trends der Reihe entspricht (Beispiel unten dargestellt). Ich bin gespannt, warum sich der erste Eigenvektor auf die Ableitung des Trends im Gegensatz zum Trend selbst bezieht. Die Daten sind …

8 time-series pca spatial eigenvalues

2

Was ist Epsilon-Konvergenz in der Wahrscheinlichkeit?

Ich verstehe, dass die Formel für die Wahrscheinlichkeit der Konvergenz und ich kann Probleme mit der Formel lösen. Kann jemand es intuitiv erklären (als wäre ich fünf Jahre alt), insbesondere in Bezug auf das, was ist?P[|Xn−X∞|>ϵ]→0P[|Xn−X∞|>ϵ]→0P[|X_n − X_\infty| \gt \epsilon ]\to 0ϵϵ\epsilon

8 probability convergence intuition

1

Kann der Cosinus-Kernel als Fall der Beta-Verteilung verstanden werden?

Wie von Wand und Jones (1995) festgestellt, können die meisten Standardkerne als ein Fall von angesehen werden K.( x ; p ) = { 22 p + 1B (p+1,p+1) }- 1( 1 - x2)p1{ | x | < 1 }K(x;p)={22p+1B(p+1,p+1)}−1(1−x2)p1{|x|<1} K(x;p) = \{ 2^{2p+1} \; \mathrm{B}(p+1,p+1) \}^{-1} \; (1-x^2)^p \;\boldsymbol{1}_{\{|x|<1\}} …

8 distributions kernel-smoothing beta-distribution

2

SVD einer Datenmatrix nach einer orthogonalen Projektion in einen Unterraum

Angenommen, ich kann die SVD einer Matrix :X = U S V T.XXXX=USVTX=USVTX = USV^T Wenn ich eine orthogonale Matrix haben ( das heißt, ist quadratisch und orthonormal Spalten), dann wird der SVD von istA X A.AAAAAAXAXAXA XA=USWTXA=USWTXA = USW^T wobei .W=ATVW=ATVW = A^TV Aber kann etwas über die SVD …

8 pca svd matrix-decomposition

3

Trend bei unregelmäßigen Zeitreihendaten

Ich habe einen Datensatz mit Wassertemperaturmessungen, die über einen Zeitraum von Jahrzehnten in unregelmäßigen Abständen an einem großen Wasserkörper durchgeführt wurden. (Galveston Bay, TX, wenn Sie interessiert sind) Hier ist der Kopf der Daten: STATION_ID DATE TIME LATITUDE LONGITUDE YEAR MONTH DAY SEASON MEASUREMENT 1 13296 6/20/91 11:04 29.50889 -94.75806 …

8 time-series seasonality trend unevenly-spaced-time-series

4

Was für eine Verteilung ist das?

Ich sah mich einer begrenzenden Verteilung mit einer Kovarianz von Null zwischen zwei Variablen gegenüber, aber ihre Korrelation ist . Gibt es eine solche Verteilung? Wie kann es erklärt werden?111 Sie haben Recht, vielleicht muss ich mehr Details geben. OK, X und Y sind bivariate Normalverteilungen mit unterschiedlichen Varianzen und …

8 distributions correlation covariance asymptotics bivariate

1

Gibt es einen Begriff für die Standardabweichung einer Stichprobe als Prozentsatz des Mittelwerts?

Ich versuche, die Variabilität innerhalb von zwei Stichproben zu vergleichen, die sich in ihrer Skala stark unterscheiden (Schülerkapazität verschiedener Arten von Bildungseinrichtungen (Kindergarten, Grund- und weiterführende Schulen)). Mein Ansatz besteht darin, die Standardabweichung für jede Stichprobe zu berechnen und diese dann zu teilen durch den Stichprobenmittelwert. Ich habe diese Metrik …

8 standard-deviation terminology

2

Wenn

Ich habe Folgendes in einem Lehrbuch gesehen und habe Schwierigkeiten, das Konzept zu verstehen. Ich verstehe, dass normalerweise mit E ( ) = 0 und Var ( ) = .X n X n 1X.nXnX_nX.nXnX_nX.nXnX_n1n1n\frac{1}{n} Ich verstehe jedoch nicht, warum das Multiplizieren von mit den Standard normal machen würde.√X.nXnX_nn- -- -√n\sqrt …

8 self-study normal-distribution expected-value moments

1

Was sind die Schritte, um die gewichtete Quadratsumme in eine Matrixform umzuwandeln?

Ich bin neu in der Konvertierung von Formeln in Matrixform. Dies ist jedoch für einen effizienten Code für maschinelles Lernen erforderlich. Also möchte ich den "richtigen" Weg verstehen, nicht das Cowboy-Zeug, das ich mache. Okay, jetzt geht es los. Ich versuche, die gewichtete Quadratsumme aus der folgenden Form in eine …

8 regression machine-learning linear-algebra

2

Gibt es Umstände, unter denen BIC nützlich ist und AIC nicht?

Im Wikipedia-Eintrag für das Akaike-Informationskriterium lesen wir unter Vergleich mit BIC (Bayesianisches Informationskriterium), dass ... AIC / AICc hat theoretische Vorteile gegenüber BIC ... AIC / AICc leitet sich aus Informationsprinzipien ab; BIC ist nicht ... BIC hat einen Prior von 1 / R (wobei R die Anzahl der Kandidatenmodelle …

8 model-selection aic prior information-theory bic

2

Einrichten eines Simulationsalgorithmus zur Überprüfung der Kalibrierung der Bayes'schen posterioren Wahrscheinlichkeiten

Herauszufinden, wie man etwas simuliert, ist oft der beste Weg, um die zugrunde liegenden Prinzipien zu verstehen. Ich weiß nicht genau, wie ich Folgendes simulieren soll. Angenommen, und hat eine vorherige Verteilung, die . Basierend auf einer Stichprobe von Beobachtungen abgekürzt mit nur , möchte ich einem Nicht-Bayesianer zeigen, dass …

8 bayesian simulation posterior

1

MCMC in einer frequentistischen Umgebung

Ich habe versucht, ein Gefühl für die verschiedenen Probleme in frequentistischen Umgebungen zu bekommen, in denen MCMC verwendet wird. Ich bin mir bewusst, dass MCMC (oder Monte Carlo) zum Anpassen von GLMMs und möglicherweise in Monte Carlo EM-Algorithmen verwendet wird. Gibt es häufigere Probleme bei der Verwendung von MCMC?

8 mcmc monte-carlo expectation-maximization metropolis-hastings frequentist

2

Wie berechnet R den p-Wert für diese binomiale Regression?

Betrachten Sie die folgende binomiale Regression: # Create some data set.seed(10) n <- 500 x <- runif(n,0,100) y <- x + rnorm(n,sd=100) < 0 # Fit a binomial regression model model <- glm(y ~ x, family="binomial") summary(model) Die summaryFunktion gibt einen p-Wert von zurück 1.03e-05. Bei Verwendung anova.glmerhält man etwas …

8 r hypothesis-testing logistic generalized-linear-model binomial