Statistiken und Big Data

Ich bin ein Epidemiologe, der versucht, GEEs zu verstehen, um eine Kohortenstudie richtig zu analysieren (unter Verwendung der Poisson-Regression mit einem Log-Link, um das relative Risiko abzuschätzen). Ich habe ein paar Fragen zur "funktionierenden Korrelation", die ich von einem Fachmann klären lassen möchte: (1) Ist es in der Regel am …

19 gee 

Ich würde gerne wissen, ob es logisch sinnvoll ist, eine Hauptkomponentenanalyse (PCA) und eine explorative Faktoranalyse (EFA) mit demselben Datensatz durchzuführen. Ich habe gehört, Profis empfehlen ausdrücklich: Verstehen Sie, was das Ziel der Analyse ist, und wählen Sie PCA oder EFA für die Datenanalyse. Nachdem Sie eine Analyse durchgeführt haben, …

19 pca  factor-analysis 

Wir haben einen Split-Test für eine neue Produktfunktion durchgeführt und möchten messen, ob die Umsatzsteigerung erheblich ist. Unsere Beobachtungen sind definitiv nicht normal verteilt (die meisten unserer Benutzer geben nichts aus, und innerhalb derer, die dies tun, ist es stark verzerrt in Richtung vieler kleiner und einiger sehr großer Geldgeber). …

19 bootstrap  outliers 

Angenommen, ich berechne einige Modellparameter, um die Summe der quadratischen Residuen zu minimieren, und gehe davon aus, dass meine Fehler Gaußsch sind. Mein Modell erzeugt analytische Ableitungen, sodass der Optimierer keine endlichen Differenzen verwenden muss. Sobald die Anpassung abgeschlossen ist, möchte ich Standardfehler der angepassten Parameter berechnen. Im Allgemeinen wird …

19 standard-error  fitting 

So bestimmen Sie die Schiefe anhand eines Boxplots, der aus diesen Daten erstellt wurde: 340, 300, 520, 340, 320, 290, 260, 330 Ein Buch sagt: "Wenn das untere Quartil weiter vom Median entfernt ist als das obere Quartil, ist die Verteilung negativ verzerrt." Mehrere andere Quellen sagten mehr oder weniger …

19 outliers  skewness  boxplot 

Dies ist keine rein statistische Frage. Ich kann alle Lehrbücher über ANOVA-Annahmen lesen. Ich versuche herauszufinden, wie tatsächlich arbeitende Analysten mit Daten umgehen, die den Annahmen nicht ganz entsprechen. Ich habe viele Fragen auf dieser Website nach Antworten durchsucht und finde immer wieder Beiträge darüber, wann ich ANOVA nicht verwenden …

19 anova  heteroscedasticity  assumptions 

Ich möchte Caret verwenden, um Rückschlüsse auf einen bestimmten Datensatz zu ziehen. Ist es möglich, Folgendes zu tun: Erzeugt Koeffizienten eines Glmnet-Modells, das ich in Caret trainiert habe. Ich möchte glmnet verwenden, da ich glaube, dass glm es nicht hat. Gibt es eine andere Metrik als die ROC-Metrik, mit der …

19 caret  glmnet 

Ich habe ein Problem mit dem Beweis von E(Y|X)∈argming(X)E[(Y−g(X))2]E(Y|X)∈arg⁡ming(X)E[(Y−g(X))2]E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big] die sehr wahrscheinlich ein tieferes Missverständnis der Erwartungen und bedingten Erwartungen aufdecken. Der mir bekannte Beweis lautet wie folgt (eine andere Version dieses Beweises finden Sie hier ) ===argming(X)E[(Y−g(x))2]argming(X)E[(Y−E(Y|X)+E(Y|X)−g(X))2]argming(x)E[(Y−E(Y|X))2+2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]argming(x)E[2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]arg⁡ming(X)E[(Y−g(x))2]=arg⁡ming(X)E[(Y−E(Y|X)+E(Y|X)−g(X))2]=arg⁡ming(x)E[(Y−E(Y|X))2+2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]=arg⁡ming(x)E[2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = …

19 mathematical-statistics  conditional-probability  proof  conditional-expectation 

Ich experimentiere mit Scikit-Learn in zufälligen Wäldern und erhalte großartige Ergebnisse mit meinem Trainingssatz, aber relativ schlechte Ergebnisse mit meinem Testsatz ... Hier ist das Problem (inspiriert vom Poker), das ich zu lösen versuche: Mit den Hole Cards von Spieler A, den Hole Cards von Spieler B und einem Flop …

19 classification  random-forest  scikit-learn 

Wie erhalte ich p-Werte mit der multinomFunktion von nnetpackage in R? Ich habe einen Datensatz, der aus "Pathologie-Scores" (Abwesend, Mild, Schwerwiegend) als Ergebnisvariable und zwei Haupteffekten besteht: Alter (zwei Faktoren: zwanzig / dreißig Tage) und Behandlungsgruppe (vier Faktoren: infiziert ohne ATB; infiziert +) ATB1; infiziert + ATB2; infiziert + ATB3). …

19 r  regression  p-value  multinomial 

Ich erinnere mich , im Web habe irgendwo gelesen, die eine Verbindung zwischen Ridge - Regression (mit ℓ2ℓ2\ell_2 Regularisierung) und PCA Regression: bei der Verwendung von ℓ2ℓ2\ell_2 -regularized Regression mit Hyper λλ\lambda , wenn λ→0λ→0\lambda \to 0 , dann ist die Regression auf dem Entfernen den PC - Variable entspricht …

19 regression  pca  regularization  ridge-regression 

Wie lässt sich eine 3D-Dichtefunktion am besten grafisch darstellen? Wie möchte ich mir vorstellen?z= fX, Y( x , y)z=fX,Y.(x,y)z=f_{X,Y}(x,y) Nicht notwendig, aber RCode dafür wäre toll.

19 r  data-visualization  methodology 

Ich habe in letzter Zeit die Bayes'sche Sichtweise der klassischen Statistik untersucht. Nachdem ich über den Bayes-Faktor gelesen hatte, fragte ich mich, ob in dieser Statistikansicht eine Leistungsanalyse erforderlich ist. Mein Hauptgrund für diese Frage ist, dass der Bayes-Faktor offenbar nur ein Wahrscheinlichkeitsverhältnis ist. Sobald es 25: 1 ist, kann …

19 bayesian  power-analysis 

Einige Bücher geben an, dass eine Stichprobengröße von 30 oder höher erforderlich ist, damit der zentrale Grenzwertsatz eine gute Näherung für ergibt . X¯X¯\bar{X} Ich weiß, dass dies nicht für alle Distributionen ausreicht. Ich möchte einige Beispiele für Verteilungen sehen, bei denen selbst bei einer großen Stichprobengröße (möglicherweise 100 oder …

19 mean  sample-size  normality-assumption  central-limit-theorem 

Ich habe Probleme bei der Interpretation der z-Werte für kategoriale Variablen in der logistischen Regression. Im folgenden Beispiel habe ich eine kategoriale Variable mit 3 Klassen und gemäß dem z-Wert ist CLASS2 möglicherweise relevant, während die anderen nicht relevant sind. Aber was heißt das jetzt? Dass ich die anderen Klassen …

19 r  logistic  categorical-data  feature-selection  categorical-encoding