Statistiken und Big Data data-mining

2

Ermittlung des größten Beitrags in einer Gruppe

Ich weiß nicht viel über Statistiken, also nimm sie mit. Nehmen wir an, ich habe 1000 Arbeiter. Ich möchte herausfinden, wer der härteste Arbeiter ist, aber ich kann nur den Arbeitsaufwand messen, der in Gruppen von 1 bis 100 Personen über eine Arbeitsstunde erledigt wird. Angenommen, jeder Arbeiter erledigt immer …

9 r regression data-mining

2

Verwendung des Gamma-Parameters mit Support-Vektor-Maschinen

Bei Verwendung libsvmist der Parameter ein Parameter für die Kernelfunktion. Der Standardwert istγγ\gammaγ= 1Anzahl der Funktionen.γ=1number of features.\gamma = \frac{1}{\text{number of features.}} Gibt es neben den vorhandenen Methoden, z. B. der Rastersuche, theoretische Anleitungen zum Einrichten dieses Parameters?

9 machine-learning svm data-mining libsvm kernel-trick

2

Stimmungsanalyse verstehen und anwenden

Mir wurde gerade ein Projekt zur Durchführung von Stimmungsanalysen für einige Dokumentensammlungen zugewiesen. Durch Googeln ist eine Menge sentimentaler Forschung aufgetaucht. Meine Fragen sind: Was sind die wichtigsten Methoden / Algorithmen für die Stimmungsanalyse im Bereich des maschinellen Lernens und der statistischen Analyse? Gibt es gut etablierte Ergebnisse? Gibt es …

9 machine-learning data-mining text-mining information-retrieval sentiment-analysis

2

Entfernen Sie Duplikate aus dem Trainingssatz zur Klassifizierung

Nehmen wir an, ich habe eine Reihe von Zeilen für ein Klassifizierungsproblem: X1,...XN,YX1,...XN,YX_1, ... X_N, Y Wobei die Merkmale / Prädiktoren sind und die Klasse ist, zu der die Merkmalskombination der Zeile gehört.X1,...,XNX1,...,XNX_1, ..., X_NYYY Viele Feature-Kombinationen und ihre Klassen werden im Datensatz wiederholt, den ich zum Anpassen eines Klassifikators …

9 machine-learning classification data-mining logistic stratification

5

Was kann ich über die Pearson-Korrelation hinaus tun?

Bei der Überprüfung, ob zwei Variablen korreliert waren, stellte ich fest, dass die Anwendung der Pearson-Korrelation Zahlen von nur 0,1 ergab, was darauf hinweist, dass keine Korrelation besteht. Kann ich irgendetwas tun, um diesen Anspruch zu stärken? Der Datensatz (Teilmenge aufgrund der Buchungsbeschränkungen), den ich betrachte, ist folgender: 6162.178176 0.049820046 …

9 correlation data-mining pearson-r

3

Wie kann man schnell wichtige Variablen aus einem sehr großen Datensatz auswählen?

Ich habe einen Datensatz mit ungefähr 2.000 binären Variablen / 200.000 Zeilen und versuche, eine einzelne binär abhängige Variable vorherzusagen. Mein Hauptziel in dieser Phase ist nicht die Genauigkeit der Vorhersage, sondern die Identifizierung, welche dieser Variablen wichtige Prädiktoren sind. Ich möchte die Anzahl der Variablen in meinem endgültigen Modell …

9 machine-learning data-mining large-data

3

Apriori-Algorithmus im Klartext?

Ich habe einen Wiki-Artikel über Apriori gelesen. Ich habe Probleme beim Verstehen des Pflaumen- und Join-Schritts. Kann mir jemand erklären, wie der Apriori-Algorithmus in einfachen Worten funktioniert (so dass Anfänger wie ich ihn leicht verstehen können)? Es ist gut, wenn jemand den damit verbundenen schrittweisen Prozess erklärt.

9 data-mining algorithms frequentist

2

Erste Schritte mit Biclustering

Ich habe gelegentlich im Internet über Bikluster recherchiert. (Ich habe den Wiki-Artikel mehrmals gelesen.) Bisher scheint es nur wenige Definitionen oder Standardterminologien zu geben. Ich habe mich gefragt, ob es Standardpapiere oder -bücher gibt, die jeder lesen sollte, der sich für Algorithmen zum Auffinden von Biklustern interessiert. Kann man sagen, …

9 clustering data-mining

2

Berechnen Sie die ROC-Kurve für Daten

Ich habe also 16 Studien, in denen ich versuche, eine Person anhand eines biometrischen Merkmals mithilfe von Hamming Distance zu authentifizieren. Mein Schwellenwert ist auf 3,5 eingestellt. Meine Daten sind unten und nur Versuch 1 ist ein wahres Positiv: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 …

9 mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

2

Ist Random Forest eine gute Option für die Klassifizierung unausgeglichener Daten? [geschlossen]

Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 3 Jahren . Kann die zufällige Gesamtstruktur "als Algorithmus" trotz der …

9 machine-learning classification data-mining supervised-learning statistical-learning

2

Sehr unausgeglichener Testdatensatz und ausgewogene Trainingsdaten in der Klassifizierung

Ich habe ein Trainingsset mit ungefähr 3000 positiven und 3000 negativen Instanzen. Aber mein Testdatensatz ist ziemlich unausgeglichen. Der positive Satz hat nur 50 Instanzen und der negative 1500 Instanzen. Dies führt dazu, dass die Genauigkeit sehr gering ist. Gibt es Ansätze zur Lösung dieses Problems? Ich benutze SVM, um …

9 machine-learning classification data-mining svm

1

Best Practices zum Messen und Vermeiden von Überanpassungen?

Ich entwickle automatisierte Handelssysteme für die Börse. Die große Herausforderung war die Überanpassung. Können Sie einige Ressourcen empfehlen, die Methoden zur Messung und Vermeidung von Überanpassungen beschreiben? Ich habe mit Trainings- / Validierungssätzen begonnen, aber der Validierungssatz wird immer verschmutzt. Außerdem ändern sich die Zeitreihendaten ständig, da sich der Markt …

9 time-series machine-learning dataset data-mining validation

1

SVM-Kostenfunktion: alte und neue Definitionen

Ich versuche, verschiedene Definitionen der SVM-Kosten-Verlust-Funktion mit weichen Margen in ursprünglicher Form miteinander in Einklang zu bringen. Es gibt einen "max ()" - Operator, den ich nicht verstehe. Ich habe vor vielen Jahren aus dem Lehrbuch " Introduction to Data Mining " von Tan, Steinbach und Kumar (2006) etwas über …

9 machine-learning classification svm data-mining loss-functions

1

WARENKORB: Auswahl des besten Prädiktors für die Aufteilung, wenn die Gewinne bei der Abnahme der Verunreinigungen gleich sind?

Meine Frage befasst sich mit Klassifikationsbäumen . Betrachten Sie das folgende Beispiel aus dem Iris-Datensatz: Ich möchte den besten Prädiktor für die erste Aufteilung manuell auswählen. Nach dem CART-Algorithmus ist das beste Merkmal für eine Aufteilung dasjenige, das die Abnahme der Verunreinigung der Partition maximiert, auch Gini-Verstärkung genannt: G i …

8 r machine-learning classification data-mining cart

1

Wann ist es angebracht, PCA als Vorverarbeitungsschritt zu verwenden?

Ich verstehe, dass PCA zur Reduzierung der Dimensionalität verwendet wird, um Datensätze in 2D oder 3D zeichnen zu können. Ich habe aber auch Leute gesehen, die PCA als Vorverarbeitungsschritt in Klassifizierungsszenarien anwenden, in denen sie PCA anwenden, um die Anzahl der Merkmale zu reduzieren, und dann einige Hauptkomponenten (die Eigenvektoren …

8 machine-learning pca data-mining dimensionality-reduction

Als «data-mining» getaggte Fragen