Statistiken und Big Data

4

Abschätzung der ungefähren Verteilung von Daten anhand eines Histogramms

Angenommen, ich möchte anhand eines Histogramms sehen, ob meine Daten exponentiell sind (dh nach rechts verschoben sind). Abhängig davon, wie ich die Daten gruppiere oder bin, kann es zu sehr unterschiedlichen Histogrammen kommen. Ein Satz von Histogrammen wird den Anschein erwecken, dass die Daten exponentiell sind. Ein anderer Satz wird …

111 distributions data-visualization histogram binning

6

Sollte man stark korrelierte Variablen entfernen, bevor man PCA durchführt?

Ich lese einen Artikel, in dem der Autor mehrere Variablen aufgrund der starken Korrelation mit anderen Variablen verwirft, bevor er PCA durchführt. Die Gesamtzahl der Variablen liegt bei 20. Gibt dies irgendwelche Vorteile? Es scheint mir ein Overhead zu sein, da PCA dies automatisch erledigen sollte.

111 correlation pca

2

Steigung, die Baum gegen gelegentlichen Wald auflädt

Die von Friedman vorgeschlagene Gradientenbaumverstärkung verwendet Entscheidungsbäume als Basislerner. Ich frage mich, ob wir den Basisentscheidungsbaum so komplex wie möglich (ausgewachsen) oder einfacher gestalten sollen. Gibt es eine Erklärung für die Wahl? Random Forest ist eine weitere Ensemblemethode, bei der Entscheidungsbäume als Basislerner verwendet werden. Nach meinem Verständnis verwenden wir …

110 machine-learning random-forest cart boosting ensemble

8

Erkennen eines bestimmten Gesichts in einer Datenbank mit Gesichtsbildern

Ich arbeite an einem kleinen Projekt, das die Gesichter von Twitter-Nutzern über ihre Profilbilder einbezieht. Ein Problem, auf das ich gestoßen bin, ist, dass ein kleiner, aber bedeutender Prozentsatz der Twitter-Benutzer ein Bild von Justin Bieber als Profilbild verwendet, nachdem ich alle Bilder mit Ausnahme von klaren Porträtfotos herausgefiltert habe. …

110 machine-learning clustering image-processing

3

Was ist, wenn die Residuen normal verteilt sind, y jedoch nicht?

Ich habe eine komische Frage. Angenommen, Sie haben eine kleine Stichprobe, bei der die abhängige Variable, die Sie mit einem einfachen linearen Modell analysieren möchten, stark verzerrt ist. Sie nehmen also an, dass nicht normalverteilt ist, da dies zu normalverteiltem . Wenn Sie jedoch den QQ-Normal-Plot berechnen, gibt es Hinweise …

110 regression residuals error normality-assumption

10

Warum hat die Cauchy-Verteilung keinen Mittelwert?

Aus der Verteilungsdichtefunktion konnten wir einen Mittelwert (= 0) für die Cauchy-Verteilung ermitteln, wie in der folgenden Grafik dargestellt. Aber warum sagen wir, dass die Cauchy-Verteilung keinen Mittelwert hat?

109 distributions mathematical-statistics mean pdf cauchy

6

Wie würden Sie den Unterschied zwischen Korrelation und Kovarianz erklären?

Wenn Sie diese Frage beantworten, wie würden Sie jemandem die Kovarianz erklären, der nur den Mittelwert versteht? , die sich mit der Erklärung der Kovarianz für einen Laien befasst, hat in meinen Augen eine ähnliche Frage aufgeworfen. Wie würde man einer Statistik den Unterschied zwischen Kovarianz und Korrelation erklären ? …

109 correlation covariance

15

US-Wahlergebnisse 2016: Was ist mit Vorhersagemodellen schief gelaufen?

Erst war Brexit , jetzt die US-Wahl. Viele Modellvorhersagen waren mit großem Abstand falsch, und gibt es hier Lehren zu ziehen? Noch gestern um 16 Uhr PST favorisierten die Wettmärkte Hillary 4 zu 1. Ich gehe davon aus, dass die Wettmärkte mit echtem Geld als Gesamtheit aller verfügbaren Vorhersagemodelle fungieren …

108 predictive-models ensemble confounding

5

Wie funktioniert eine Support Vector Machine (SVM)?

Wie funktioniert eine Support Vector Machine (SVM) und was unterscheidet sie von anderen linearen Klassifikatoren wie dem linearen Perceptron , der linearen Diskriminanzanalyse oder der logistischen Regression ? * (* Ich denke über die zugrunde liegenden Motivationen für den Algorithmus, Optimierungsstrategien, Generalisierungsfähigkeiten und Laufzeitkomplexität nach. )

108 machine-learning classification svm statistical-learning

4

Was ist die .632+ -Regel beim Bootstrapping?

Hier verweist @gung auf die Regel .632+. Eine schnelle Google-Suche liefert keine leicht verständliche Antwort darauf, was diese Regel bedeutet und für welchen Zweck sie verwendet wird. Würde jemand bitte die .632+ -Regel erläutern?

107 bootstrap

6

Gibt es eine intuitive Interpretation von für eine Datenmatrix ?

Für eine gegebene Datenmatrix (mit Variablen in Spalten und Datenpunkten in Zeilen) scheint eine wichtige Rolle in der Statistik zu spielen. Zum Beispiel ist es ein wichtiger Teil der analytischen Lösung von gewöhnlichen kleinsten Quadraten. Oder für PCA sind seine Eigenvektoren die Hauptkomponenten der Daten.A T AAAAATAATAA^TA Ich verstehe, wie …

107 matrix covariance-matrix correlation-matrix

5

Welche Fähigkeiten sind erforderlich, um umfangreiche statistische Analysen durchzuführen?

Viele statistische Jobs erfordern Erfahrung mit umfangreichen Daten. Welche statistischen und rechnerischen Fähigkeiten wären für die Arbeit mit großen Datenmengen erforderlich? Wie wäre es beispielsweise mit der Erstellung von Regressionsmodellen bei einem Datensatz mit 10 Millionen Stichproben?

107 regression machine-learning multivariate-analysis large-data

21

Was ist ein reales Beispiel für "Überanpassung"?

Ich verstehe, was "Überanpassung" bedeutet, aber ich brauche Hilfe, um ein reales Beispiel für Überanpassung zu finden.

107 overfitting

7

Warum ist Genauigkeit nicht das beste Maß für die Beurteilung von Klassifizierungsmodellen?

Dies ist eine allgemeine Frage, die hier indirekt mehrmals gestellt wurde, aber es fehlt eine einzige maßgebliche Antwort. Es wäre großartig, eine ausführliche Antwort auf diese Frage als Referenz zu haben. Die Genauigkeit , der Anteil der korrekten Klassifizierungen an allen Klassifizierungen, ist sehr einfach und sehr "intuitiv" zu messen, …

107 machine-learning classification accuracy model-evaluation scoring-rules

6

Was bedeutet 1x1-Faltung in einem neuronalen Netzwerk?

Ich mache gerade das Udacity Deep Learning Tutorial. In Lektion 3 sprechen sie über eine 1x1-Faltung. Diese 1x1-Faltung wird im Google Inception-Modul verwendet. Ich habe Probleme zu verstehen, was eine 1x1-Faltung ist. Ich habe auch diesen Beitrag von Yann Lecun gesehen. Könnte mir das bitte jemand erklären?

106 neural-networks deep-learning convolution conv-neural-network