Statistiken und Big Data

1

Clustering Trägheitsformel in Scikit lernen

Ich möchte ein kmeans-Clustering in Python mit Pandas und Scikit Learn codieren. Um das gute k auszuwählen, möchte ich die Gap-Statistik von Tibshirani und al 2001 ( pdf ) codieren . Ich würde gerne wissen, ob ich inertia_ result von scikit verwenden und die Lückenstatistikformel anpassen könnte, ohne die gesamte …

9 clustering python k-means scikit-learn metric

2

Korrelation zwischen Kategorien zwischen kategorialen nominalen Variablen

Ich habe einen Datensatz mit zwei kategorialen nominalen Variablen (beide mit 5 Kategorien). Ich würde gerne wissen, ob (und wie) ich mögliche Korrelationen zwischen den Kategorien aus diesen beiden Variablen identifizieren kann. Mit anderen Worten, ob zum Beispiel die Ergebnisse der Kategorie in Variable 1 eine starke Korrelation mit einer …

9 correlation residuals contingency-tables categorical-data

1

Erwarteter Wert der Statistik der Mindestbestellmenge aus einer normalen Stichprobe

UPDATE 25. Januar 2014: Der Fehler wurde behoben. Bitte ignorieren Sie die berechneten Werte des erwarteten Werts im hochgeladenen Bild - sie sind falsch - ich lösche das Bild nicht, weil es eine Antwort auf diese Frage generiert hat. UPDATE 10. Januar 2014: Der Fehler wurde gefunden - ein Tippfehler …

9 normal-distribution expected-value order-statistics minimum

1

R: Anova und lineare Regression

Ich bin neu in der Statistik und versuche, den Unterschied zwischen ANOVA und linearer Regression zu verstehen. Ich benutze R, um dies zu untersuchen. Ich habe verschiedene Artikel darüber gelesen, warum ANOVA und Regression unterschiedlich, aber immer noch gleich sind und wie sie visualisiert werden können usw. Ich denke, ich …

9 r regression anova

4

Lasso-ing die Reihenfolge einer Verzögerung?

Angenommen, ich habe Längsschnittdaten der Form (ich habe mehrere Beobachtungen, dies ist nur die Form einer einzigen). Ich bin an Einschränkungen für interessiert . Ein uneingeschränktes entspricht der Einnahme von mit .Y=(Y1,…,YJ)∼N(μ,Σ)Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)ΣΣ\SigmaΣΣ\SigmaYj=αj+∑ℓ=1j−1ϕℓjYj−ℓ+εjYj=αj+∑ℓ=1j−1ϕℓjYj−ℓ+εj Y_j = \alpha_j + \sum_{\ell = 1} ^ {j …

9 feature-selection lasso shrinkage

2

Erwartung des Quotienten der Summen von IID-Zufallsvariablen (Arbeitsblatt der Universität Cambridge)

Ich bereite mich auf ein Interview vor, das gute Kenntnisse der Grundwahrscheinlichkeit erfordert (zumindest, um das Interview selbst zu überstehen). Ich arbeite das Blatt unten aus meiner Studienzeit als Überarbeitung durch. Es war größtenteils ziemlich einfach, aber ich bin bei Frage 12 völlig ratlos. http://www.trin.cam.ac.uk/dpk10/IA/exsheet2.pdf Jede Hilfe wäre dankbar. Bearbeiten: …

9 probability self-study random-variable

1

Korrelationskoeffizient zwischen zwei Arrays von 2D-Punkten?

Ich habe zwei Arrays von 2D-Punkten und muss deren Korrelation abschätzen. Welche Formel soll ich verwenden? Beispiel für Arrays: X.: ( ( 1 , 5 ) , ( 2 , 5 ) , ( 1 , 7 ) , ( 4 , 1 ) ) ,X.::((1,5),(2,5),(1,7),(4,1)),X: ((1,5),(2,5),(1,7),(4,1)), Y.: ( ( …

9 correlation

2

Varianz des Stichprobenmittelwerts der Bootstrap-Stichprobe

Sei sind unterschiedliche Beobachtungen (keine Bindungen). Sei X ∗ 1 , . . . , X ∗ n bezeichnen eine Bootstrap-Probe (eine Probe aus der empirischen CDF) und lassen ˉ X ∗ n = 1X.1, . . . , X.nX.1,...,X.nX_{1},...,X_{n}X.∗1, . . . , X.∗nX.1∗,...,X.n∗X_{1}^{*},...,X_{n}^{*} . Finden SieE( ˉ X …

9 self-study variance bootstrap cdf conditional-expectation

2

Drei offene philosophische Probleme in der Statistik

Ich habe kürzlich The Lady Tasting Tea gelesen , ein lustiges Buch über die Geschichte der Statistik. Am Ende des Buches schlägt der Autor David Salsburg drei offene philosophische Probleme in der Statistik vor, deren Lösungen seiner Ansicht nach größere Auswirkungen auf die Anwendung der statistischen Theorie auf die Wissenschaft …

9 probability

3

Bewertung der Leistung eines Normalitätstests (in R)

Ich möchte die Genauigkeit von Normalitätstests über verschiedene Stichprobengrößen in R bewerten (mir ist klar, dass Normalitätstests irreführend sein können ). Um zum Beispiel den Shapiro-Wilk-Test zu betrachten, führe ich die folgende Simulation durch (sowie das Aufzeichnen der Ergebnisse) und würde erwarten, dass mit zunehmender Stichprobengröße die Wahrscheinlichkeit der Zurückweisung …

9 r simulation power-analysis normality-assumption

1

Datenstruktur und Funktionsaufruf für wiederkehrende Ereignisdaten mit zeitabhängigen Variablen

Ich versuche, die Wirkung von 2 Medikamenten ( drug1, drug2) auf die Wahrscheinlichkeit eines Sturzes eines Patienten abzuschätzen ( event). Die Patienten können mehr als einmal fallen und können jederzeit an- oder abgenommen werden. Meine Frage ist, wie die Daten in Bezug auf den Zeitraum (Tage) strukturiert sein sollten, insbesondere, …

9 r survival cox-model

3

Logistische Regression: Maximierung von True Positives - False Positives

Ich habe ein logistisches Regressionsmodell (Anpassung über glmnet in R mit elastischer Netzregulierung) und möchte den Unterschied zwischen echten und falschen Positiven maximieren. Zu diesem Zweck wurde das folgende Verfahren in den Sinn gebracht: Passen Sie das logistische Standardregressionsmodell an Identifizieren Sie alle positiven Vorhersagen unter Verwendung des Vorhersageschwellenwerts von …

9 r regression logistic classification glmnet

1

Verstecktes Markov-Modell zur Ereignisvorhersage

Frage : Ist der Aufbau unten eine sinnvolle Implementierung eines Hidden Markov-Modells? Ich habe einen Datensatz von 108,000Beobachtungen (über einen Zeitraum von 100 Tagen) und ungefähr 2000Ereignisse während der gesamten Beobachtungszeitspanne. Die Daten sehen wie in der folgenden Abbildung aus, in der die beobachtete Variable 3 diskrete Werte annehmen kann …

9 time-series machine-learning predictive-models markov-chain hidden-markov-model

4

Modellierung für Fußballergebnisse

In Dixon, Coles ( 1997 ) haben sie die Maximum-Likelihood-Schätzung für die beiden modifizierten unabhängigen Poisson-Modelle in (4.3) verwendet, um die Ergebnisse im Fußball zu modellieren. Ich versuche, R zu verwenden, um die Alpha- und Beta-Parameter sowie die Home-Effekt-Parameter (S. 274, Tabelle 4) ohne Verwendung von Paketen zu "reproduzieren" (die …

9 r modeling maximum-likelihood games

6

Wie man die Vektorautoregression und die Impulsantwortfunktion mit Paneldaten schätzt

Ich arbeite an der Schätzung der Vektorautoregression (VARs) und der Impulsantwortfunktion (IRFs) basierend auf Paneldaten mit 33 Personen über 77 Quartale. Wie soll diese Art von Situation analysiert werden? Welche Algorithmen gibt es für diesen Zweck? Ich würde es vorziehen, diese Analysen in R durchzuführen. Wenn also jemand mit R-Code …

9 r econometrics panel-data var impulse-response