Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

4
Daten in inkonsistentem Format in R bereinigen?
Ich beschäftige mich oft mit unordentlichen Umfragedaten, die eine Menge Aufräumarbeiten erfordern, bevor Statistiken erstellt werden können. Früher habe ich das "manuell" in Excel gemacht, manchmal mit Excel-Formeln und manchmal nacheinander. Ich begann, immer mehr dieser Aufgaben zu erledigen, indem ich Skripte schrieb, um sie in R zu erledigen, was …
16 r  data-cleaning 
6
Schnellste SVM-Implementierung
Eher eine allgemeine Frage. Ich verwende eine rbf-SVM für die vorhersagende Modellierung. Ich denke, mein aktuelles Programm muss definitiv etwas beschleunigt werden. Ich benutze Scikit Learn mit einer Grob- bis Feinrastersuche + Kreuzvalidierung. Jeder SVM-Lauf dauert ungefähr eine Minute, aber bei all den Iterationen finde ich es immer noch zu …
1
Analyse von Längsschnittdaten: Berücksichtigung der zeitlichen Autokorrelation in GLMM?
Hallo Statistik-Gurus und R-Programmier-Assistenten, Ich interessiere mich für die Modellierung von Tierfängen als Funktion der Umgebungsbedingungen und des Tages des Jahres. Im Rahmen einer anderen Studie habe ich über einen Zeitraum von drei Jahren eine Anzahl von Erfassungen an ~ 160 Tagen. An jedem dieser Tage habe ich Temperatur, Niederschlag, …
2
Was sind Alternativen zur VC-Dimension zur Messung der Komplexität neuronaler Netze?
Ich habe einige grundlegende Methoden gefunden, um die Komplexität neuronaler Netze zu messen: Naiv und informell: Zählen Sie die Anzahl der Neuronen, verborgenen Neuronen, Schichten oder verborgenen Schichten VC-Dimension (Eduardo D. Sontag [1998] "VC-Dimension neuronaler Netze" [ pdf ].) Ein körniger und asymptotischer Rechenaufwand wird durch Äquivalenz zu gemessenTC0dTCd0TC^0_d . …
4
Intuition hinter der Potenzgesetzverteilung
Ich weiß, dass das PDF einer Potenzgesetzverteilung p ( x ) = α - 1xMindest( xxMindest)- αp(x)=α-1xMindest(xxMindest)-α p(x) = \frac{\alpha-1}{x_{\text{min}}} \left(\frac{x}{x_{\text{min}}} \right)^{-\alpha} Was aber bedeutet es intuitiv, wenn beispielsweise Aktienkurse einer Potenzgesetzverteilung folgen? Bedeutet dies, dass die Verluste sehr hoch, aber selten sein können?
6
Wo finde ich einen großen Textkorpus? [geschlossen]
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 6 Jahren . Ich suche einen großen (> 1000) Textkorpus zum Herunterladen. Am liebsten mit Weltnachrichten oder irgendwelchen …
16 dataset 
3
Ist es überhaupt vertretbar, einen Datensatz nach der Größe des Residuums zu schichten und einen Vergleich mit zwei Stichproben durchzuführen?
Ich sehe das als eine Art Ad-hoc-Methode und es scheint mir sehr faul zu sein, aber vielleicht fehlt mir etwas. Ich habe dies in mehreren Regressionen gesehen, aber lassen Sie es uns einfach halten: yi=β0+β1xi+εiyi=β0+β1xi+εi y_{i} = \beta_{0} + \beta_{1} x_{i} + \varepsilon_{i} Nehmen Sie nun die Residuen aus dem …
2
Was ist die statistische Begründung der Interpolation?
Angenommen, wir haben zwei Punkte (die folgende Abbildung: schwarze Kreise) und möchten einen Wert für einen dritten Punkt zwischen ihnen finden (Kreuz). In der Tat werden wir es basierend auf unseren experimentellen Ergebnissen, den schwarzen Punkten, schätzen. Am einfachsten ist es, eine Linie zu zeichnen und dann den Wert zu …
2
Zwei-Schwanz-Tests erklären
Ich suche nach verschiedenen Möglichkeiten, meinen Schülern (in einem Kurs zur Elementarstatistik) zu erklären, was ein zweiseitiger Test ist und wie sein P-Wert berechnet wird. Wie erklären Sie Ihren Schülern den Zwei-gegen-Eins-Test?
5
Wahrscheinlichkeitstheorie Bücher zum Selbststudium
Gibt es gute Bücher, die wichtige Konzepte der Wahrscheinlichkeitstheorie wie Wahrscheinlichkeitsverteilungsfunktionen und kumulative Verteilungsfunktionen erklären? Vermeiden Sie es, auf Bücher wie "Mathematical Statistics and Data Analysis" von John Rice zu verweisen, die mit einfachen Permutationskonzepten beginnen und dann plötzlich (im 2. Kapitel) einen Sprung machen, indem Sie Kenntnisse in reeller …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.