Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

3
Simulationsstudie: Wie wählt man die Anzahl der Iterationen?
Ich möchte Daten mit "Modell 1" generieren und mit "Modell 2" anpassen. Die zugrunde liegende Idee besteht darin, die Robustheitseigenschaften von "Modell 2" zu untersuchen. Ich interessiere mich besonders für die Abdeckungsrate des 95% -Konfidenzintervalls (basierend auf der normalen Näherung). Wie stelle ich die Anzahl der Iterationsläufe ein? Stimmt es, …
1
Schönfeld-Residuen
Wenn in einem Cox-Proportional-Hazards-Modell mit vielen Variablen die Schönfeld-Residuen für eine der Variablen nicht flach sind, macht dies das gesamte Modell ungültig oder kann nur die schlecht funktionierende Variable ignoriert werden? Das heißt, interpretieren Sie die Koeffizienten für die anderen Variablen, aber interpretieren Sie die resultierenden Koeffizienten für die Variable …
2
Einführung in die angewandte Wahrscheinlichkeit für reine Mathematiker?
Ich habe einen Abschluss in reiner Mathematik (Maßtheorie, Funktionsanalyse, Operatoralgebra usw.). Ich habe auch einen Job, der einige Kenntnisse der Wahrscheinlichkeitstheorie erfordert (von Grundprinzipien bis zu Techniken des maschinellen Lernens). Meine Frage: Kann jemand kanonische Lese- und Referenzmaterialien bereitstellen, die: In sich geschlossene Einführung in die Wahrscheinlichkeitstheorie Scheuen Sie sich …
2
Dispersionsparameter in der GLM-Ausgabe
Ich habe ein glm in R ausgeführt und in der Nähe des unteren Randes der summary()Ausgabe heißt es (Dispersion parameter for gaussian family taken to be 28.35031) Ich habe bei Google ein bisschen gestöbert und festgestellt, dass der Dispersionsparameter verwendet wird, um den Standardfehlern zu entsprechen. Ich hoffe, jemand könnte …
1
Ridge und LASSO eine Kovarianzstruktur gegeben?
(y⃗ −Xβ⃗ )TV−1(y⃗ −Xβ⃗ )+λf(β), (1)(y→−Xβ→)TV−1(y→−Xβ→)+λf(β), (1)(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1) (y⃗ −Xβ⃗ )(y⃗ −Xβ⃗ )+λf(β). (2)(y→−Xβ→)(y→−Xβ→)+λf(β). (2)(\vec{y}-X\vec{\beta})(\vec{y}-X\vec{\beta})+\lambda f(\beta).\ \ \ \ \ \ \ \ \ \ \ \ (2) This was mainly motivated by the fact that in my particular application, we have different variances for the y⃗ …
3
Wie vertretbar ist es,
Wenn ich mein Lambda durch Kreuzvalidierung bestimme, werden alle Koeffizienten Null. Aber ich habe einige Hinweise aus der Literatur, dass einige der Prädiktoren definitiv das Ergebnis beeinflussen sollten. Ist es Unsinn, Lambda willkürlich zu wählen, damit es genauso wenig Sparsamkeit gibt, wie man möchte? Ich möchte die Top 10 oder …
11 lasso 
5
Konfidenzintervall und Wahrscheinlichkeit - wo liegt der Fehler in dieser Aussage?
Wenn jemand eine Erklärung wie folgt abgibt: "Insgesamt hatten Nichtraucher, die Umweltrauch ausgesetzt waren, ein relatives Risiko für koronare Herzerkrankungen von 1,25 (95-Prozent-Konfidenzintervall, 1,17 bis 1,32) im Vergleich zu Nichtrauchern, die keinem Rauch ausgesetzt waren." Was ist das relative Risiko für die Gesamtbevölkerung? Wie viele Dinge hängen mit einer koronaren …
2
Wie konvertiere ich standardisierte Koeffizienten in nicht standardisierte Koeffizienten?
Mein Ziel ist es, die Koeffizienten, die aus früheren Untersuchungen zu diesem Thema abgeleitet wurden, zu verwenden, um die tatsächlichen Ergebnisse anhand einer Reihe unabhängiger Variablen vorherzusagen. Das Forschungspapier listet jedoch nur die Beta-Koeffizienten und den t-Wert auf. Ich würde gerne wissen, ob es möglich ist, die standardisierten Koeffizienten in …
4
Gibt es einen Test für ausgelassene variable Vorspannung in OLS?
Mir ist der Ramsey-Reset-Test bekannt, der möglicherweise nichtlineare Abhängigkeiten erkennt. Wenn Sie jedoch nur einen der Regressionskoeffizienten (lediglich lineare Abhängigkeiten) wegwerfen, können Sie abhängig von den Korrelationen eine Verzerrung erhalten. Dies wird vom Reset-Test offensichtlich nicht erkannt. Ich habe keinen Test für diesen Fall gefunden, aber diese Aussage: "Sie können …
3
Ein Kurs in experimentellem Design für Data Miner
Ich bin Informatiker und arbeite im Data Mining. Es ist kein Geheimnis zu sagen, dass Informatiker ziemlich schlecht darin sind, systematische experimentelle Entwürfe und Bewertungen durchzuführen - die Verwendung von p-Werten und Konfidenzschätzungen wird als fortgeschritten angesehen :). Was ich gerne wissen würde, wenn es gute Kurse / Materialien gibt, …
2
Warum nicht eine Metaanalyse für teilweise simulierte Daten durchführen?
Hintergrund: Eine typische Metaanalyse in der Psychologie könnte versuchen, die Korrelation zwischen zwei Variablen X und Y zu modellieren. Die Analyse würde typischerweise das Erhalten einer Reihe relevanter Korrelationen aus der Literatur zusammen mit Stichprobengrößen beinhalten. Formeln können dann angewendet werden, um eine gewichtete Durchschnittskorrelation zu berechnen. Anschließend können Analysen …
3
Mittelwert
Ich arbeite an stark verzerrten Daten, daher verwende ich den Median anstelle des Mittelwerts, um die zentrale Tendenz zusammenzufassen. Ich hätte gerne ein Maß für die Streuung Während ich oft Leute sehe, die mittlere Standardabweichung±±\pm oder mittlere Quartile angeben,±±\pm um die zentrale Tendenz zusammenzufassen, ist es in Ordnung, mittlere mittlere …
2
Referenz für
In seiner Antwort auf meine vorherige Frage gibt @Erik P. den Ausdruck Wobei κ ist der Überschuss Kurtosis der Verteilung. Es wird auf den Wikipedia-Eintrag zurVerteilung der Stichprobenvarianzverwiesen, auf der Wikipedia-Seite steht jedoch "Zitieren erforderlich".Var[s2]=σ4(2n−1+κn),Var[s2]=σ4(2n−1+κn), \mathrm{Var}[s^2]=\sigma^4 \left(\frac{2}{n-1} + \frac{\kappa}{n}\right) \>, κκ\kappa Meine Hauptfrage ist, gibt es eine Referenz für diese …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.