Statistiken und Big Data clustering

2

Ich versuche, den chinesischen Restaurantprozess (CRP) und den gewichteten chinesischen Restaurantprozess (WCRP) zu verstehen, die in einem Forschungsbericht "Automatische Entdeckung kognitiver Fähigkeiten" beschrieben sind - Robert V. Lindsey, Mohammad Khajah, Michael C. Mozer zur Verbesserung der Vorhersage von Schüler lernen. In CRP wird bei allen Implementierungen (vgl. Unendliche Mischungsmodelle mit …

7 clustering nonparametric-bayes

1

Warum werden die meisten meiner Punkte mit DBSCAN als Rauschen eingestuft?

Ich verwende mehrere Clustering-Algorithmen von sklearn, um einige Daten zu clustern, und kann anscheinend nicht herausfinden, was mit DBSCAN passiert. Meine Daten sind eine Dokument-Term-Matrix von TfidfVectorizer mit einigen hundert vorverarbeiteten Dokumenten. Code: tfv = TfidfVectorizer(stop_words=STOP_WORDS, tokenizer=StemTokenizer()) data = tfv.fit_transform(dataset) db = DBSCAN(eps=eps, min_samples=min_samples) result = db.fit_predict(data) svd = TruncatedSVD(n_components=2).fit_transform(data) …

7 clustering scikit-learn text-mining dbscan

2

Generieren eines hochdimensionalen Datensatzes, bei dem der nächste Nachbar bedeutungslos wird

In der Zeitung " Wann ist 'Nächster Nachbar' sinnvoll? " Lesen wir das: Wir zeigen, dass sich unter bestimmten allgemeinen Bedingungen (in Bezug auf Daten- und Abfrageverteilungen oder Arbeitsbelastung) mit zunehmender Dimensionalität die Entfernung zum nächsten Nachbarn der Entfernung zum entferntesten Nachbarn nähert. Mit anderen Worten, der Kontrast in Abständen …

7 machine-learning clustering dataset k-nearest-neighbour high-dimensional

2

K-bedeutet: Warum minimiert die Minimierung von WCSS die Entfernung zwischen Clustern?

Aus konzeptioneller und algorithmischer Sicht verstehe ich, wie K-means funktioniert. Aus mathematischer Sicht verstehe ich jedoch nicht, warum das Minimieren des WCSS (Quadratsummen innerhalb des Clusters) notwendigerweise den Abstand zwischen Clustern maximiert . Mit anderen Worten, kann jemand zeigen, wie diese Funktion der Maximierung des Abstands zwischen Clustern entspricht? Es …

7 clustering k-means distance sums-of-squares euclidean

2

Muss ich doppelte Objekte für die Clusteranalyse von Objekten entfernen?

Ich mache eine Clusteranalyse und habe mich gefragt, ob es möglich ist, Duplikate aus dem Datensatz zu entfernen, um die Leistung zu steigern. Ich arbeite an Tabellen, in denen sich Objekte in Zeilen und Variablen in Spalten befinden. Wenn zwei Zeilen identisch sind, können sie dann gelöscht werden? Würde dies …

7 clustering k-means hierarchical-clustering

Als «clustering» getaggte Fragen