Wie berechne ich die Reinheit?

Wie berechnen wir in der Clusteranalyse die Reinheit? Wie lautet die Gleichung?

Ich suche keinen Code, um das für mich zu tun.

Bildbeschreibung hier eingeben

Sei $\omega_k$ der Cluster k und $c_j$ die Klasse j.

Ist Reinheit also praktisch genau? Es sieht so aus, als würde die Menge der wirklich klassifizierten Klassen pro Cluster über die Stichprobengröße summiert.

Gleichungsquelle

Die Frage ist, in welcher Beziehung zwischen dem Output und dem Input?

Wenn es wirklich positive (TP), wirklich negative (TN), falsch positive (FP), falsch negative (FN) gibt. Ist es ? $Purity = \frac{TP_K}{(TP+TN+FP+FN)}$

clustering

— Iancovici
quelle

Wenn Sie nur eine kurze Definition benötigen: Die häufigste Google-Suche zum Thema Clusterreinheit ** enthält hier eine mathematische Definition. (** zumindest für mich - Ihre individuellen Ergebnisse können abweichen)

— Glen_b -Reinstate Monica

Ich habe keine Ahnung, was Sie unter "Reinheit" verstehen, aber David Colquhoun verwendet "den schwarzen magischen Assay der Reinheit des Herzens" als Beispiel für die binomische Abtastung auf den Seiten 111-114 seines hervorragenden Lehrbuchs "Lectures on Biostatistics" (1971) Auf der Website des Autors als kostenloses PDF verfügbar: dcscience.net Auch wenn es für Ihre Frage irrelevant ist, ist es eine großartige Geschichte.

— Michael Lew - wieder Monica

In Klassifikationsbäumen sind einige der Funktionen zum Messen der Verunreinigung: Resubstitutionsfehler, Gini-Index und Entropie. (Klassifikationsbäume führen eine bestimmte Form der Clusterbildung durch, daher denke ich, dass dies relevant sein sollte.) Ich hoffe, dies hilft!

— Angelorf

Reinheit ist im Rahmen der Clusteranalyse ein externes Bewertungskriterium für die Clusterqualität. Dies ist der Prozentsatz der Gesamtzahl der Objekte (Datenpunkte), die im Einheitenbereich [0..1] korrekt klassifiziert wurden.

P u r i t y = \frac{1}{N} \sum_{i = 1}^{k} m a x_{j} | c_{i} \cap t_{j} |

$Purity = \frac 1 N \sum_{i=1}^k max_j | c_i \cap t_j |$

Dabei ist $N$ = Anzahl der Objekte (Datenpunkte), $k$ = Anzahl der Cluster, $c_i$ ist ein Cluster in $C$ und $t_j$ ist die Klassifikation, die die maximale Anzahl für den Cluster $c_i$

Wenn wir "richtig" sagen, bedeutet dies, dass jeder Cluster $c_i$ eine Gruppe von Objekten als dieselbe Klasse identifiziert hat, auf die die Grundwahrheit hingewiesen hat. Wir verwenden die Grundwahrheitsklassifikation $t_i$ dieser Objekte als Maß für die Zuordnungskorrektheit. Dazu müssen wir jedoch wissen, welcher Cluster $c_i$ auf welche Grundwahrheitsklassifikation $t_i$ . Wenn es 100% genau wäre, würde jedes $c_i$ genau 1 $t_i$ , aber in Wirklichkeit unser $c_i$ einige Punkte enthalten, deren Grundwahrheit sie als mehrere andere Klassifikationen klassifizierte. Dann können wir natürlich sehen, dass die höchste Clusterqualität durch Verwendung von $c_i$ bis erzielt wird $t_i$ Abbildung die die meisten korrekten Klassifikationen aufweist, dh $c_i \cap t_i$ . Daher kommt das $max$ in der Gleichung.

Um die Reinheit zu berechnen, erstellen Sie zuerst Ihre Verwirrungsmatrix. Dies kann durch Durchlaufen jedes Clusters $c_i$ und Zählen, wie viele Objekte als jede Klasse $t_i$ klassifiziert wurden, erfolgen .

   |  T1 |  T2  |  T3
---------------------
C1 |  0  |  53  |  10
C2 |  0  |  1   |  60
C3 |  0  |  16  |  0

Dann für jeden Cluster $c_i$

Purity = (53 + 60 + 16) / 140 = 0.92142

— Snives
quelle

kannst du auch bitte auf entropie antworten

— MonsterMMORPG

hier meine frage

— MonsterMMORPG

t_{j}

$t_j$ is the classification ... max counts". There is no need for

m a x_{j}

$max_{j}$ then. By the way, high purity does not shows the correctness of classification, does it?

— LRDPRDX