Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

14
Einfacher Algorithmus zur Online-Ausreißererkennung einer generischen Zeitreihe
Ich arbeite mit einer großen Anzahl von Zeitreihen. Bei diesen Zeitreihen handelt es sich im Grunde genommen um Netzwerkmessungen, die alle 10 Minuten durchgeführt werden. Einige davon sind periodisch (dh die Bandbreite), andere nicht (dh die Menge des Routingverkehrs). Ich hätte gerne einen einfachen Algorithmus für eine Online- "Ausreißererkennung". Grundsätzlich …
2
Wie viel Angst sollten wir vor Konvergenzwarnungen in lme4 haben
Wenn wir einen Glimmer nachrüsten, erhalten wir möglicherweise eine Warnung, die uns mitteilt, dass das Modell Schwierigkeiten hat, sich anzunähern ... z >Warning message: In checkConv(attr(opt, "derivs"), opt$par, ctrl = control$checkConv, : Model failed to converge with max|grad| = 0.00389462 (tol = 0.001) Eine andere Möglichkeit, die Konvergenz zu überprüfen, …
3
Was ist ein Rangmangel und wie geht man damit um?
Die Anpassung einer logistischen Regression mit lme4 endet mit Error in mer_finalize(ans) : Downdated X'X is not positive definite. Eine wahrscheinliche Ursache für diesen Fehler ist offenbar ein Rangmangel. Was ist ein Rangmangel und wie soll ich damit umgehen?
87 r  logistic  lme4-nlme 
2
Gibt es angesichts der Leistungsfähigkeit von Computern heutzutage jemals einen Grund, einen Chi-Quadrat-Test anstelle von Fischers genauem Test durchzuführen?
In Anbetracht der Tatsache, dass Software die exakte Testberechnung nach Fisher heutzutage so einfach durchführen kann , gibt es einen Umstand, in dem der Chi-Quadrat-Test theoretisch oder praktisch dem exakten Test nach Fisher vorzuziehen ist? Zu den Vorteilen des genauen Tests nach Fisher gehören: Skalierung auf Kontingenztabellen größer als 2x2 …
3
Was sind Beispiele, bei denen ein "naiver Bootstrap" fehlschlägt?
Angenommen, ich habe einen Satz von Beispieldaten aus einer unbekannten oder komplexen Verteilung und möchte einen Rückschluss auf eine Statistik der Daten ziehen. Meine Standardeinstellung besteht darin, nur eine Reihe von Bootstrap-Beispielen mit Ersetzung zu generieren und meine Statistik für jedes Bootstrap-Beispiel zu berechnen , um eine geschätzte Verteilung für …
9
Was genau ist ein Konfidenzintervall?
Ich weiß ungefähr und informell, was ein Konfidenzintervall ist. Ich kann mich jedoch nicht mit einem wichtigen Detail auseinandersetzen: Laut Wikipedia: Ein Konfidenzintervall sagt nicht voraus, dass der wahre Wert des Parameters mit einer bestimmten Wahrscheinlichkeit in dem Konfidenzintervall liegt, wenn die tatsächlich erhaltenen Daten vorliegen. Ich habe auch ähnliche …
9
Gibt es eine intuitive Erklärung, warum Multikollinearität ein Problem bei der linearen Regression ist?
Das Wiki diskutiert die Probleme, die auftreten, wenn Multikollinearität ein Problem in der linearen Regression ist. Das Grundproblem ist, dass Multikollinearität zu instabilen Parameterschätzungen führt, was es sehr schwierig macht, die Auswirkung unabhängiger Variablen auf abhängige Variablen zu bewerten. Ich verstehe die technischen Gründe für die Probleme (möglicherweise kann , …
24
Faustregeln für „moderne“ Statistiken
Ich mag G van Belles Buch über statistische Faustregeln und in geringerem Maße allgemeine Fehler in der Statistik (und wie man sie vermeidet) von Phillip I Good und James W. Hardin. Sie adressieren häufige Fallstricke bei der Interpretation von Ergebnissen aus experimentellen Studien und Beobachtungsstudien und geben praktische Empfehlungen für …
16
Unter welchen Bedingungen impliziert Korrelation Kausalität?
Wir alle wissen, dass das Mantra "Korrelation bedeutet keine Kausalität" in allen Statistikstudenten des ersten Studienjahres enthalten ist. Es gibt einige schöne Beispiele hier die Idee zu illustrieren. Aber manchmal Korrelation tut Verursachung bedeuten. Das folgende Beispiel stammt von dieser Wikipedia-Seite Zum Beispiel könnte man ein Experiment mit identischen Zwillingen …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.