Statistiken und Big Data

1

Fisher's Exact Test und hypergeometrische Verteilung

Ich wollte den genauen Test des Fischers besser verstehen, deshalb habe ich das folgende Spielzeugbeispiel entwickelt, bei dem f und m männlich und weiblich und n und y dem "Sodakonsum" wie folgt entsprechen: > soda_gender f m n 0 5 y 5 0 Dies ist natürlich eine drastische Vereinfachung, aber …

11 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Was mache ich, wenn die AIC-Werte niedrig und ungefähr gleich sind?

Chris Chatfield, dessen viele hochwertige Bücher und Papiere ich gerne gelesen habe, gibt in (1) folgende Ratschläge: Zum Beispiel sollte wahrscheinlich die Wahl zwischen ARIMA-Zeitreihenmodellen mit niedrigen und ungefähr gleichen AIC-Werten getroffen werden, bei denen nicht der minimale AIC angegeben wird, sondern bei denen die besten Prognosen der Daten des …

11 forecasting model-selection arima aic

2

Was bedeutet es, wenn alle Kanten in einem realen Netzwerk / Diagramm statistisch genauso zufällig sind?

Ich habe die in diesem Dokument beschriebene Methode zur Extraktion des Backbone-Netzwerks verwendet: http://www.pnas.org/content/106/16/6483.abstract Grundsätzlich schlagen die Autoren eine statistische Methode vor, die für jede Kante im Diagramm eine Wahrscheinlichkeit erzeugt, dass die Kante zufällig entstanden sein könnte. Ich verwende den typischen statistischen Signifikanzgrenzwert von 0,05. Ich habe diese Methode …

11 probability statistical-significance data-visualization graph-theory networks

2

Erklären Sie einem Nicht-Statistiker die verallgemeinerte Methode der Momente

Wie erkläre ich verallgemeinerte Methoden von Momenten und wie wird sie einem Nichtstatistiker verwendet? Bisher gehe ich mit: Es ist etwas, das wir verwenden, um Bedingungen wie Durchschnittswerte und Abweichungen basierend auf den von uns gesammelten Proben zu schätzen. Wie erkläre ich den Teil, in dem Sie den Parametervektor durch …

11 generalized-moments method-of-moments

4

Wie man einen Koeffizienten festlegt und andere mithilfe der Regression anpasst

Ich möchte einen bestimmten Koeffizienten manuell festlegen, z. B. , und dann die Koeffizienten an alle anderen Prädiktoren anpassen, während im Modell erhalten .β1=1.0β1=1.0\beta_1=1.0β1=1.0β1=1.0\beta_1=1.0 Wie kann ich dies mit R erreichen? Ich würde besonders gerne mit LASSO ( glmnet) arbeiten, wenn möglich. Wie kann ich diesen Koeffizienten alternativ auf einen …

11 r multiple-regression lasso glmnet constrained-regression

1

Berechnen eines Mittelwerts und einer Standardabweichung für eine logarithmische Normalverteilung mit 2 Perzentilen

Ich versuche, einen Mittelwert und eine Standardabweichung von 2 Perzentilen für eine logarithmische Normalverteilung zu berechnen. Es gelang mir, die Berechnung für eine Normalverteilung mit X = mean + sd * ZMittelwert und SD durchzuführen und zu lösen. Ich glaube, mir fehlt eine Gleichung, wenn ich versuche, dasselbe für eine …

11 r lognormal

7

Wie würden Sie Personen ohne statistischen Hintergrund die statistische Signifikanz erklären?

Hintergrund: Ich musste eine Datenanalyse für einen Mandanten (eine Art Anwalt) durchführen, der ein absoluter Anfänger in der Statistik war. Er fragte mich, was der Begriff "statistische Signifikanz" bedeutet und ich versuchte wirklich, ihn zu erklären ... aber da ich nicht gut darin bin, Dinge zu erklären, habe ich versagt;)

11 statistical-significance inference communication

3

Wann ist es angebracht, Modelle durch Minimierung des AIC auszuwählen?

Zumindest unter Statistikern höheren Kalibers ist es allgemein bekannt, dass Modelle mit Werten der AIC-Statistik innerhalb eines bestimmten Schwellenwerts des Mindestwerts als angemessen angesehen werden sollten wie das Modell zur Minimierung der AIC-Statistik. Zum Beispiel finden wir in [1, S.221] Dann wären Modelle mit kleinem GCV oder AIC am besten …

11 time-series model-selection aic

2

Warum ist die Verwendung von Querschnittsdaten zum Ableiten / Vorhersagen von Längsveränderungen eine schlechte Sache?

Ich suche ein Papier, von dem ich hoffe, dass es existiert, weiß aber nicht, ob es existiert. Es könnte sich um eine Reihe von Fallstudien und / oder ein Argument aus der Wahrscheinlichkeitstheorie handeln, warum die Verwendung von Querschnittsdaten zum Ableiten / Vorhersagen von Längsschnittänderungen eine schlechte Sache sein kann …

11 references panel-data inference causality cross-section

2

Verteilung der Quadratsumme von T-verteilten Zufallsvariablen

Ich betrachte die Verteilung der Summe der Quadrate von T-verteilten Zufallsvariablen mit dem Endexponenten . Wo X das rv ist, gibt mir die Fourier-Transformation für X 2 , F ( t ) eine Lösung für das Quadrat vor der Faltung F ( t ) n . F ( t ) …

11 probability sums-of-squares

4

Logistische Regression und Wendepunkt

Wir haben Daten mit einem binären Ergebnis und einigen Kovariaten. Ich habe die Daten mithilfe der logistischen Regression modelliert. Nur eine einfache Analyse, nichts Außergewöhnliches. Die endgültige Ausgabe soll eine Dosis-Wirkungs-Kurve sein, in der wir zeigen, wie sich die Wahrscheinlichkeit für eine bestimmte Kovariate ändert. Etwas wie das: Wir erhielten …

11 regression logistic generalized-linear-model binary-data

1

Welche Intuition steckt hinter der Variation der Informationsmetrik (VI) für die Clustervalidierung?

Für Nicht-Statistiker wie mich ist es sehr schwierig, die Idee der VIMetrik (Variation von Informationen) zu erfassen, selbst nachdem sie das relevante Papier von Marina Melia " Vergleich von Clustern - Eine informationsbasierte Distanz " (Journal of Multivariate Analysis, 2007) gelesen hat . Tatsächlich kenne ich viele Begriffe der Cluster …

11 r clustering validation intuition

1

Warum basiert die Diagnose auf Residuen?

Bei einer einfachen linearen Regression möchte man oft überprüfen, ob bestimmte Annahmen erfüllt sind, um Rückschlüsse ziehen zu können (z. B. sind Residuen normalverteilt). Ist es sinnvoll, die Annahmen zu überprüfen, indem überprüft wird, ob die angepassten Werte normal verteilt sind?

11 regression residuals diagnostic

2

Schätzung der Varianz von zentrumszensierten Normalproben

Ich habe normalerweise verteilte Prozesse , aus denen ich kleine Proben (erhalten n typischerweise 10-30) , dass ich verwenden möchte Varianz zu schätzen. Aber häufig sind die Proben so nahe beieinander, dass wir einzelne Punkte in der Nähe des Zentrums nicht messen können. Ich habe dieses vage Verständnis, dass wir …

11 normal-distribution estimation rayleigh

1

Für welche Verteilungen bedeutet Unkorrelation Unabhängigkeit?

Eine altehrwürdige Erinnerung in der Statistik ist "Unkorreliertheit bedeutet nicht Unabhängigkeit". Normalerweise wird diese Erinnerung durch die psychologisch beruhigende (und wissenschaftlich korrekte) Aussage ergänzt, "wenn die beiden Variablen dennoch gemeinsam normal verteilt sind , bedeutet Unkorrelation Unabhängigkeit". Ich kann die Anzahl der glücklichen Ausnahmen von eins auf zwei erhöhen: Wenn …

11 probability distributions correlation mathematical-statistics independence