Statistiken und Big Data

4

Was ist der Unterschied zwischen mathematischer Statistik und Statistik?

Was ist der Unterschied zwischen mathematischer Statistik und Statistik? Ich habe gelesen , dieses : Statistik ist das Studium der Sammlung, Organisation, Analyse und Interpretation von Daten. Es befasst sich mit allen Aspekten davon, einschließlich der Planung der Datenerfassung im Hinblick auf die Gestaltung von Umfragen und Experimenten. Und das …

24 mathematical-statistics terminology

1

Wie kann man sich eine riesige, spärliche Kontingenztabelle vorstellen?

Ich habe zwei Variablen: Drogenname (DN) und entsprechende unerwünschte Ereignisse (AE), die in einer Beziehung von vielen zu vielen stehen. Es gibt 33.556 Medikamentennamen und 9.516 unerwünschte Ereignisse. Die Stichprobengröße beträgt etwa 5,8 Millionen Beobachtungen. Ich möchte die Assoziation / Beziehung zwischen DN und AE studieren und verstehen. Ich denke …

24 r categorical-data data-visualization large-data association-measure

3

Korrelation zwischen zwei Zeitreihen

Was ist der einfachste Weg / die einfachste Methode, um die Korrelation zwischen zwei genau gleich großen Zeitreihen zu berechnen? Ich überlegte, und ( y [ t ] - μ y ) zu multiplizieren und die Multiplikation zu addieren. Wenn diese einzelne Zahl also positiv war, können wir dann sagen, …

24 time-series

1

Wer hat die k-fache Kreuzvalidierung erfunden?

Ich suche einen Verweis auf das Papier, in dem die k-fache Kreuzvalidierung eingeführt wurde (und nicht nur einen guten wissenschaftlichen Verweis für das Fach). Vielleicht ist es zu weit zurück in der Vergangenheit, um die allererste Veröffentlichung eindeutig zu identifizieren, so dass alle frühen Veröffentlichungen, in denen die Idee verwendet …

24 cross-validation references

4

Mittelwert der L1-Regressionsschätzung, Mittelwert der L2-Regressionsschätzung?

Daher wurde mir die Frage gestellt, welche zentralen Kennzahlen L1 (dh Lasso) und L2 (dh Gratregression) geschätzt wurden. Die Antwort lautet L1 = Median und L2 = Mittelwert. Gibt es irgendeine Art von intuitivem Denken dafür? Oder muss es algebraisch ermittelt werden? Wenn ja, wie mache ich das?

24 lasso regularization loss-functions ridge-regression

3

Wie mache ich eine logistische Regression in R, wenn das Ergebnis ein Bruchteil ist (Verhältnis von zwei Zählungen)?

Ich überprüfe ein Papier, das das folgende biologische Experiment hat. Eine Vorrichtung wird verwendet, um Zellen unterschiedlichen Mengen an Flüssigkeitsscherspannung auszusetzen. Wenn größere Scherbeanspruchungen auf die Zellen ausgeübt werden, beginnen sich mehr von ihnen vom Substrat zu lösen. Auf jeder Ebene der Scherbeanspruchung zählen sie die Zellen, die gebunden bleiben, …

24 r logistic multinomial

3

Können nicht-zufällige Stichproben mit statistischen Standardtests analysiert werden?

Viele klinische Studien basieren auf nicht zufälligen Stichproben. Die meisten Standardtests (z. B. t-Tests, ANOVA, lineare Regression, logistische Regression) basieren jedoch auf der Annahme, dass Stichproben "Zufallszahlen" enthalten. Sind die Ergebnisse gültig, wenn diese nicht-zufälligen Stichproben durch Standardtests analysiert wurden? Vielen Dank.

24 sampling randomness

4

Haben Sie eine globale Vision für diese Analysetechniken?

Ich bin derzeit in einem Projekt, in dem ich wie wir alle im Grunde genommen verstehen muss, wie Output mit Input . Die Besonderheit hierbei ist, dass die Daten einzeln an mich übergeben werden. Ich möchte meine Analyse daher jedes Mal aktualisieren, wenn ich eine neue erhalte . Ich glaube, …

24 modeling model-selection

4

Welche Beziehung besteht zwischen Regression und linearer Diskriminanzanalyse (LDA)?

Gibt es einen Zusammenhang zwischen Regression und linearer Diskriminanzanalyse (LDA)? Was sind ihre Gemeinsamkeiten und Unterschiede? Macht es einen Unterschied, ob es zwei Klassen oder mehr als zwei Klassen gibt?

24 regression logistic discriminant-analysis canonical-correlation reduced-rank-regression

3

Sanity Check: Wie tief kann ein p-Wert gehen?

Ich verwende einen ranksum Test den Median von zwei Proben (zum Vergleich ) und haben festgestellt , dass sie mit signifikant verschieden sind: . Sollte ich einem so kleinen Wert gegenüber misstrauisch sein oder sollte ich ihn der hohen statistischen Leistung zuschreiben, die mit einer sehr großen Stichprobe verbunden ist? …

24 hypothesis-testing p-value sample-size power

2

Warum geben lme und aov bei ANOVA mit wiederholten Messungen in R unterschiedliche Ergebnisse zurück?

Ich versuche, von der Verwendung des ezPakets zu lmeANOVA für wiederholte Messungen überzugehen (da ich hoffe, dass ich benutzerdefinierte Kontraste verwenden kann lme). Den Ratschlägen dieses Blogposts folgend, konnte ich dasselbe Modell mit sowohl aov(als auch auf ezAnfrage) als auch einrichten lme. Während in dem Beispiel in diesem Beitrag die …

24 r anova mixed-model repeated-measures lme4-nlme

4

EM-Maximum-Likelihood-Schätzung für die Weibull-Verteilung

Hinweis: Ich stelle eine Frage eines ehemaligen Studenten, der aus technischen Gründen nicht in der Lage ist, selbst zu posten. Ausgehend von einer iid-Stichprobe x1, … , Xnx1,…,xnx_1,\ldots,x_n aus einer Weibull-Verteilung mit pdf fk( X ) = k xk - 1e- xkx > 0fk(x)=kxk-1e-xkx>0 f_k(x) = k x^{k-1} e^{-x^k} \quad …

24 optimization missing-data expectation-maximization weibull gumbel

5

Warum ist die Voreingenommenheit betroffen, wenn eine klinische Studie frühzeitig abgebrochen wird?

Eine Zwischenanalyse ist eine Analyse der Daten zu einem oder mehreren Zeitpunkten vor dem offiziellen Abschluss der Studie mit der Absicht, z. B. die Studie möglicherweise vorzeitig zu beenden. Laut Piantadosi, S. ( Klinische Studien - eine methodologische Perspektive ): " Die Schätzung eines Behandlungseffekts wird verzerrt, wenn eine Studie …

24 clinical-trials bias

3

Gleichungen in den Nachrichten: Übersetzen eines mehrstufigen Modells für ein allgemeines Publikum

Die New York Times kommentiert das Bewertungssystem für Lehrkräfte mit Mehrwert, das verwendet wird, um Pädagogen in New York City Feedback zu geben. Die lede ist die Gleichung zur Berechnung der Punktzahlen - ohne Kontext dargestellt. Die rhetorische Strategie scheint Einschüchterung durch Mathematik zu sein: Der vollständige Text des Artikels …

24 regression multilevel-analysis statistics-in-media

7

Algorithmus zur dynamischen Überwachung von Quantilen

Ich möchte das Quantil einiger Daten schätzen. Die Daten sind so groß, dass sie nicht im Speicher gespeichert werden können. Und Daten sind nicht statisch, es kommen immer neue Daten. Kennt jemand einen Algorithmus zur Überwachung der Quantile der bisher beobachteten Daten mit sehr begrenztem Speicher und Rechenaufwand? Ich finde …

24 algorithms quantiles