Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

2
Zufälliger Wald mit Längsschnittdaten
Ich habe viele Messungen für mehrere Personen, bin mir aber nicht sicher, wie ich diese Wiederholungsmessstruktur beim Ausführen eines zufälligen Waldmodells berücksichtigen soll. Gibt es eine Möglichkeit, die zugrunde liegende Datenstruktur von Längsschnittdaten mithilfe eines zufälligen Waldmodells zu berücksichtigen? Ist das überhaupt nötig? - es scheint mir, dass es sein …
1
Warum ist
Bei der Spline-Regression ist es nicht ungewöhnlich, dass die Basiserweiterung eine rangdefiziente Entwurfsmatrix erstellt Bn×pBn×pB_{n\times p}Es ist jedoch bekannt, dass die Bestrafung des Schätzverfahrens das Problem löst. Ich weiß nicht, wie ich zeigen soll, dass Bestrafung das bedeutetBTB+λΩBTB+λΩB^TB+\lambda\Omegaist definitiv positiv. (Ich weiß, dass PD-Matrizen invertierbar sind.) Um die Bühne zu …
1
Wie erhalte ich das Konfidenzintervall eines Bernoulli-Versuchs, wenn ?
Ich weiß, dass die Standardformel für das Bernoulli CI lautet: p^±z1−α/2p^(1−p^)n−−−−−−−−√p^±z1−α/2p^(1−p^)n\hat{p}\pm z_{1-\alpha/2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}} Wenn p^=mnp^=mn\hat{p} = \frac{m}{n} wie schätze ich das Konfidenzintervall, wenn n n\ n klein und m=0 m=0\ m = 0 ? Dieser Fall würde die obige Gleichung auf 0±0 0±0\ 0 \pm 0 reduzieren, was impliziert, dass sich …
2
Darstellung der Korrelationsmatrix über die Zeit
Haben Sie aus Ihrer Erfahrung Vorschläge zur Darstellung zeitlich wechselnder Korrelationsmatrizen? Ich habe mir /quant/1565/how-do-i-graphically-represent-the-evolution-of-a-covariance-matrix-over-time angesehen , konnte aber keine finden guter Artikel. Ich stelle diese Frage, weil ich auf dem Gebiet der Datenanalyse ziemlich neu bin und das einzige Buch, das ich bisher gelesen habe, Wickhams ist ggplot2. Also …
1
Bayesianische Aktualisierung - Beispiel für das Werfen von Münzen
Ich habe eine Frage zur Bayes'schen Aktualisierung. Im Allgemeinen bezieht sich die Bayes'sche Aktualisierung auf den Prozess des Erhaltens des Seitenzahns aus einer vorherigen Glaubensverteilung. Alternativ könnte man den Begriff so verstehen, dass der hintere Teil des ersten Schritts als vorherige Eingabe für die weitere Berechnung verwendet wird. Das Folgende …
7 bayesian 
1
Weibull vs. Gamma-Verteilung
Ich habe Daten, die Abstände zwischen aufeinanderfolgenden Punkten auf einer Linie (1D-Vektor) umfassen: Traditionell werden solche Daten in meinem Bereich mit einer Gammaverteilung versehen, um die Verteilung der Punkte zu beschreiben. In einigen Fällen finde ich jedoch, dass eine Weibull-Verteilung besser passt (höhere Wahrscheinlichkeit basierend auf BIC / AIC) oder …
2
Posteriore prädiktive Verteilung gegen MAP-Schätzung
Betrachten Sie einen Trainingsdatensatz , ein durch parametrisiertes Wahrscheinlichkeitsmodell und ein vorheriges P (\ theta) . Für einen neuen Datenpunkt x ^ * können wir P (x ^ *) berechnen mit:XXXθθ\thetaP(θ)P(θ)P(\theta)x∗x∗x^*P(x∗)P(x∗)P(x^*) ein vollständig bayesianischer Ansatz: die posteriore Vorhersageverteilung P(x∗|X)=∫P(θ|X)P(x∗|θ)dθP(x∗|X)=∫P(θ|X)P(x∗|θ)dθP(x^* | X) = \int P(\theta|X) P(x^*|\theta) d\theta die Wahrscheinlichkeit, die durch …
1
Parameterschätzungen für die Dreiecksverteilung
Eine Frage , wurde veröffentlicht hier (deleted jetzt) in Bezug auf die Parameter der Schätzdreiecksverteilung , die Dichte f(x;a,b,c)=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪02(x−a)(b−a)(c−a)2(b−x)(b−a)(b−c)0for x&lt;a,for a≤x≤c,for c&lt;x≤b,for b&lt;x.f(x;a,b,c)={0for x&lt;a,2(x−a)(b−a)(c−a)for a≤x≤c,2(b−x)(b−a)(b−c)for c&lt;x≤b,0for b&lt;x.f(x;a,b,c)=\begin{cases} \quad 0 & \text{for } x < a, \\ \frac{2(x-a)}{(b-a)(c-a)} & \text{for } a \le x \le c, \\ \frac{2(b-x)}{(b-a)(b-c)} & \text{for } …
1
Ist das eine Monte-Carlo-Simulation?
Vergleichen wir also zwei Normalverteilungen Do this x times: runs &lt;- 100000 a.samples &lt;- rnorm(runs, mean = 5) b.samples &lt;- rbeta(runs, mean = 0) mc.p.value &lt;- sum(a.samples &gt; b.samples)/runs Die mc.p.-Werte, die unter unser Alpha (0,05) geteilt durch x fallen, würden dann die Fehlerrate vom Typ 1 ergeben. Unser H0 …
4
Ridge-Regression: Regularisierung in Richtung eines Wertes
Die traditionelle Kammregressionsschätzung ist β^ridge=(XTX+λI)−1XTYβ^ridge=(XTX+λI)−1XTY \hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} X^T Y ergibt sich aus dem Hinzufügen des .λ||β||22λ||β||22\lambda ||\beta||^2_2 Ich habe mich bemüht, Literatur über die Regularisierung auf einen bestimmten Wert zu finden . Insbesondere habe ich mir ein Ridge-Regressionsmodell angesehen, das die Form der Strafe wobei die anfängliche Schätzung …
1
Warum ist dies keine gültige Momenterzeugungsfunktion?
Erklären Sie, warum es keine Zufallsvariable geben kann, für die , wobei M die Momenterzeugungsfunktion ist.Mx(t)=t1−tMx(t)=t1−tM_x(t) = \frac{t}{1-t} Versuch: Ich habe versucht, als die Summe einer unendlichen Reihe zu schreiben, also von bis . Wir wissen, dass die Formel für eine Momenterzeugungsfunktion . Also habe ich die beiden verglichen und …
7 self-study  mgf 
2
Modell mit Komplikationen
Ein reguläres lineares Regressionsmodell ist , wobei unbekannte Koeffizienten sind und \ varepsilon Gaußsches Rauschen mit einem Mittelwert von Null und einer konstanten Varianz ist. Ich baue ein Modell, bei dem der Fehlerbegriff \ varepsilon zwei Komplikationen hat:y=c′x+εy=c′x+εy = c'x + \varepsiloncccεε\varepsilonεε\varepsilon Seine Verteilung ist nicht normal. Die Fehlervarianz ist …
1
Testen auf Benford Law in Echtzeit
Angenommen, ich habe Daten einer bestimmten Menge , gegeben durch . Jetzt nehme ich die erste Ziffer jeder Größe und möchte die Beziehung zwischen der empirischen Verteilung der ersten Ziffern wobei die normalisierte Häufigkeit des Auftretens von als erste Ziffer und das Benfordsche Gesetz Nun habe ich dieses Papier gelesenXXXx1,...,xnx1,...,xnx_1,...,x_ndidid_ixixix_ip^=(p^1,...,p^n)p^=(p^1,...,p^n)\hat{p}=(\hat{p}_1,...,\hat{p}_n)pi^pi^\hat{p_i}iiipi=log10(1+1/i)pi=log10⁡(1+1/i) …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.