Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

2
Was ist der Unterschied zwischen „Deep Learning“ und mehrstufiger / hierarchischer Modellierung?
Ist "Deep Learning" nur ein weiterer Begriff für mehrstufige / hierarchische Modellierung? Ich kenne die letztere viel besser als die erstere, aber soweit ich das beurteilen kann, besteht der Hauptunterschied nicht in ihrer Definition, sondern darin, wie sie in ihrem Anwendungsbereich verwendet und bewertet werden. Es sieht so aus, als …
5
Empfehlungen zu Farbe und Liniendicke für Liniendiagramme
Es wurde viel über farbenblinde Farbauswahlmöglichkeiten für Karten, Polygone und schattierte Bereiche im Allgemeinen geschrieben (siehe zum Beispiel http://colorbrewer2.org ). Ich konnte keine Empfehlungen für Linienfarben und unterschiedliche Liniendicken für Liniendiagramme finden. Ziele sind: leicht zu unterscheiden Linien, auch wenn sie sich verflechten Linien sind von Personen mit den häufigsten …
4
Warum sprechen niedrigere p-Werte nicht mehr gegen die Null? Argumente von Johansson 2011
Johansson (2011) in „ Hail the unmöglich: p-Wert, Beweise und Wahrscheinlichkeit “ (hier ist auch Link zur Zeitschrift ) besagt , dass untere - Werte oft als stärkere Beweise gegen die Null betrachtet werden. Johansson impliziert, dass die Leute Beweise gegen die Null als stärker ansehen würden, wenn ihr statistischer …
8
Ausreißer durch Mittelwert ersetzen
Diese Frage wurde von meinem Freund gestellt, der nicht mit dem Internet vertraut ist. Ich habe keinen statistischen Hintergrund und habe im Internet nach dieser Frage gesucht. Die Frage ist: Ist es möglich, Ausreißer durch Mittelwerte zu ersetzen? Wenn es möglich ist, gibt es Buchreferenzen / Zeitschriften, um diese Aussage …
1
Was ist der Unterschied zwischen "Bestimmungskoeffizient" und "mittlerer quadratischer Fehler"?
Bei Regressionsproblemen habe ich gesehen, dass Leute "Bestimmungskoeffizienten" (alias R-Quadrat) verwenden, um die Modellauswahl durchzuführen, z. B. um den geeigneten Strafkoeffizienten für die Regularisierung zu finden. Es ist jedoch auch üblich, "mittlere Fehlerquadrat" oder "mittlere Fehlerquadratwurzel" als Maß für die Regressionsgenauigkeit zu verwenden. Was ist der Hauptunterschied zwischen diesen beiden? …
1
PCA-Zielfunktion: Welcher Zusammenhang besteht zwischen Maximierung der Varianz und Minimierung des Fehlers?
Der PCA-Algorithmus kann anhand der Korrelationsmatrix formuliert werden (vorausgesetzt, die Daten bereits normalisiert und es wird nur die Projektion auf den ersten PC in Betracht gezogen). Die Zielfunktion kann wie folgt geschrieben werden:XXX maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. Dies ist in Ordnung, und wir verwenden Lagrange-Multiplikatoren, …
31 pca  optimization 
1
Was sind einige nützliche Richtlinien für GBM-Parameter?
Was sind einige nützliche Richtlinien zum Testen von Parametern (z. B. Interaktionstiefe, Kind, Abtastrate usw.) mit GBM? Nehmen wir an, ich habe 70-100 Features, eine Bevölkerung von 200.000 und ich beabsichtige, die Interaktionstiefe von 3 und 4 zu testen. Natürlich muss ich einige Tests durchführen, um zu sehen, welche Parameterkombination …
1
Dimensionsreduktion (SVD oder PCA) auf einer großen, dünn besetzten Matrix
/ edit: Weitere Folgemaßnahmen können jetzt mit irlba :: prcomp_irlba durchgeführt werden / edit: verfolge meinen eigenen Beitrag. irlbaVerfügt nun über die Argumente "center" und "scale", mit denen Sie Hauptkomponenten berechnen können, z. pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Ich habe eine große, spärliche Anzahl Matrixvon Funktionen, …
5
Ermittlung signifikanter Prädiktoren aus vielen unabhängigen Variablen
In einem Datensatz von zwei nicht überlappenden Populationen (Patienten & Gesunde, insgesamt ) möchte ich (aus unabhängigen Variablen) signifikante Prädiktoren für eine kontinuierliche abhängige Variable finden. Korrelation zwischen Prädiktoren ist vorhanden. Ich bin daran interessiert herauszufinden, ob einer der Prädiktoren "in der Realität" mit der abhängigen Variablen zusammenhängt (anstatt die …
3
Entropiebasierte Widerlegung von Shalizis Bayes'schem Rückwärtspfeil des Zeitparadoxons?
In dieser Arbeit argumentiert der talentierte Forscher Cosma Shalizi, dass man, um eine subjektive Bayes'sche Sichtweise vollständig zu akzeptieren, auch ein unphysisches Ergebnis akzeptieren muss, dass der Zeitpfeil (gegeben durch den Fluss der Entropie) tatsächlich rückwärts gehen sollte . Dies ist hauptsächlich ein Versuch, gegen die maximale Entropie / vollständig …
3
Warum ist eine Variablenauswahl notwendig?
Gängige datenbasierte Variablenauswahlverfahren (z. B. vorwärts, rückwärts, schrittweise, alle Teilmengen) führen tendenziell zu Modellen mit unerwünschten Eigenschaften, darunter: Koeffizienten von Null weg vorgespannt. Zu kleine Standardfehler und zu enge Konfidenzintervalle. Teststatistiken und p-Werte, die nicht die angegebene Bedeutung haben. Schätzungen der Modellanpassung sind zu optimistisch. Eingeschlossene Begriffe, die bedeutungslos sein …
2
Wie zeichnet man die Entscheidungsgrenze eines k-Nächsten-Nachbarn-Klassifikators aus Elementen des statistischen Lernens?
Ich möchte die Handlung erzeugen, die im Buch ElemStatLearn "Die Elemente des statistischen Lernens: Data Mining, Inferenz und Vorhersage. Zweite Ausgabe" von Trevor Hastie & Robert Tibshirani & Jerome Friedman beschrieben ist. Die Handlung ist: Ich frage mich, wie ich dieses genaue Diagramm in erzeugen kann. RBeachten Sie insbesondere die …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.