Statistiken und Big Data

4

Wie identifiziere ich eine bimodale Verteilung?

Ich verstehe, dass wir, sobald wir die Werte als Diagramm gezeichnet haben, eine bimodale Verteilung identifizieren können, indem wir die Doppelspitzen beobachten. Aber wie findet man sie programmgesteuert? (Ich suche einen Algorithmus.)

48 distributions

5

Was ist der Unterschied zwischen NaN und NA?

Ich würde gerne wissen, warum manche Sprachen wie R sowohl NA als auch NaN haben. Was sind die Unterschiede oder sind sie gleich? Muss man wirklich NA haben?

48 r

17

Was ist Ihr Lieblingsblog zur Datenvisualisierung?

Was ist der beste Blog zur Datenvisualisierung? Ich mache diese Frage zu einem Community-Wiki, da sie sehr subjektiv ist. Bitte beschränken Sie jede Antwort auf einen Link. Bitte beachten Sie die folgenden Kriterien für vorgeschlagene Antworten: [A] akzeptable Antworten auf Fragen wie diese ... müssen angemessene Beschreibungen und begründete Begründungen …

48 data-visualization references

7

Auswirkung von Schaltverhalten und erklärender Variable bei einfacher linearer Regression

Angenommen, es gibt eine "wahre" Beziehung zwischen und so dass , wobei und Konstanten sind und normales Rauschen ist. Wenn ich zufällig Daten aus diesem R-Code generiere und dann ein Modell wie dieses anpasse, erhalte ich offensichtlich einigermaßen gute Schätzungen für und .yyyy = a x + b + ≤ …

48 regression

4

Was ist der Unterschied zwischen einem auf Impulsen basierenden Gefälle und einem beschleunigten Gefälle nach Nesterov?

So funktioniert der momentumbasierte Gradientenabstieg wie folgt: v = s e l f. m o m e n t u m ∗ m - l r ∗ gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g wobei die vorherigen Gewichtungsaktualisierungs sind, und g ist die aktuelle Gradient in bezug auf die Parameter p , l r ist die …

48 optimization gradient-descent

2

Intuitive Erklärungen der Unterschiede zwischen Gradient Boosting Trees (GBM) und Adaboost

Ich versuche die Unterschiede zwischen GBM und Adaboost zu verstehen. Folgendes habe ich bisher verstanden: Es gibt beide Boosting-Algorithmen, die aus den Fehlern des Vorgängermodells lernen und schließlich eine gewichtete Summe der Modelle bilden. GBM und Adaboost sind sich bis auf ihre Verlustfunktionen ziemlich ähnlich. Trotzdem fällt es mir schwer, …

48 boosting gbm adaboost

2

Ist jede Kovarianzmatrix positiv bestimmt?

Ich denke, die Antwort sollte ja sein, aber ich habe immer noch das Gefühl, dass etwas nicht stimmt. Es sollte einige allgemeine Ergebnisse in der Literatur geben, könnte mir jemand helfen?

48 covariance matrix covariance-matrix linear-algebra

4

Zufällige Gesamtstrukturberechnungszeit in R

Ich verwende das Party- Paket in R mit 10.000 Zeilen und 34 Features, und einige Factor-Features haben mehr als 300 Levels. Die Rechenzeit ist zu lang. (Es hat bis jetzt 3 Stunden gedauert und ist noch nicht fertig.) Ich möchte wissen, welche Elemente einen großen Einfluss auf die Rechenzeit einer …

48 r random-forest

1

Leistungsmetriken zur Bewertung unbeaufsichtigten Lernens

Gibt es in Bezug auf unbeaufsichtigtes Lernen (wie Clustering) Metriken zur Bewertung der Leistung?

48 machine-learning clustering data-mining unsupervised-learning

6

Was sind iid Zufallsvariablen?

Wie würden Sie IID (unabhängig und identisch verteilt) nicht-technischen Personen erklären?

48 random-variable intuition

10

Was ist ein guter Algorithmus zum Schätzen des Medians eines riesigen Datensatzes mit einmaligem Lesen?

Ich suche einen guten Algorithmus (dh minimale Berechnung, minimale Speicheranforderungen), um den Median eines Datensatzes zu schätzen, der zu groß zum Speichern ist, sodass jeder Wert nur einmal gelesen werden kann (es sei denn, Sie speichern diesen Wert explizit). Es gibt keine Grenzen für die Daten, die angenommen werden können. …

48 algorithms median large-data

5

Intuition über die Kullback-Leibler (KL) -Divergenz

Ich habe über die Intuition hinter der KL-Divergenz gelernt, wie sehr sich eine Modellverteilungsfunktion von der theoretischen / wahren Verteilung der Daten unterscheidet. Die Quelle, die ich lese, sagt weiter, dass das intuitive Verständnis der Distanz zwischen diesen beiden Verteilungen hilfreich ist, aber nicht wörtlich genommen werden sollte, da für …

47 distributions distance intuition kullback-leibler

1

Wie wende ich Standardisierung / Normalisierung auf Trainings- und Testsets an, wenn Vorhersage das Ziel ist?

Wandle ich alle meine Daten oder Falze (wenn der Lebenslauf angewendet wird) gleichzeitig um? z.B (allData - mean(allData)) / sd(allData) Wandle ich Zugset und Testset getrennt um? z.B (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Oder transformiere ich Triebzüge und verwende Berechnungen auf dem Testsatz? z.B (trainData …

47 r cross-validation data-transformation normalization standardization

7

Wo fange ich mit Statistiken für einen erfahrenen Entwickler an?

In der ersten Jahreshälfte 2015 habe ich den Coursera-Kurs für maschinelles Lernen (von Andrew Ng, GREAT-Kurs) absolviert. Und lernte die Grundlagen des maschinellen Lernens (lineare Regression, logistische Regression, SVM, Neuronale Netze ...) Außerdem bin ich seit 10 Jahren Entwickler, sodass das Erlernen einer neuen Programmiersprache kein Problem darstellt. In letzter …

47 r regression machine-learning references

11

Kann eine einfache lineare Regression ohne Verwendung von Plots und linearer Algebra durchgeführt werden?

Ich bin völlig blind und komme aus einer Programmiersprache. Ich versuche, maschinelles Lernen zu erlernen. Dazu muss ich zunächst etwas über lineare Regression lernen. Alle Erklärungen im Internet, die ich zu diesem Thema finde, zeichnen die Daten zuerst auf. Ich suche nach einer praktischen Erklärung der linearen Regression, die nicht …

47 regression intuition