Abstand zwischen zwei Gaußschen Gemischen zur Bewertung von Clusterlösungen

11

Ich führe eine schnelle Simulation durch, um verschiedene Clustering-Methoden zu vergleichen, und stoße derzeit auf einen Haken beim Versuch, die Cluster-Lösungen zu bewerten.

Ich kenne verschiedene Validierungsmetriken (viele finden sich in cluster.stats () in R), aber ich gehe davon aus, dass diese am besten verwendet werden, wenn die geschätzte Anzahl von Clustern tatsächlich der tatsächlichen Anzahl von Clustern entspricht. Ich möchte die Fähigkeit beibehalten, zu messen, wie gut eine Clustering-Lösung funktioniert, wenn sie nicht die richtige Anzahl von Clustern in der ursprünglichen Simulation angibt (dh wie gut Daten eines Drei-Cluster-Lösungsmodells simuliert wurden, um einen 4-Cluster zu haben Lösung). Nur zu Ihrer Information werden Cluster so simuliert, dass sie identische Kovarianzmatrizen besitzen.

Ich dachte, die KL-Divergenz zwischen zwei Gemischen von Gaußschen wäre nützlich zu implementieren, aber es gibt keine geschlossene Lösung ( Hershey und Olson (2007) ), und die Implementierung einer Monte-Carlo-Simulation beginnt rechenintensiv zu werden.

Gibt es andere Lösungen, die möglicherweise einfach zu implementieren sind (auch wenn es sich nur um eine Annäherung handelt)?

clustering kullback-leibler gaussian-mixture

— Dmartin
quelle

Der L2-Abstand zwischen zwei Gaußschen Gemischen ist in geschlossener Form verfügbar. Verwenden Sie dies und Sie sollten fertig sein.

Ich weiß nicht, wie Sie es machen würden, aber es klingt für mich nicht nach einer guten Idee. Nehmen Sie eine Mischung, permutieren Sie die Komponenten (keine Änderung von p (x)) und der L2-Abstand kann alles sein. Außerdem ist der L2-Abstand bei Kovarianzmatrizen keine gute Idee.

— Bayerj

Posteriore prädiktive Wahrscheinlichkeit eines durchgehaltenen Testdatensatzes. Ich vermute, du brauchst Priors auf k.

— Vermutungen

Erster Link ist unterbrochen

— ttnphns

6

Angenommen, wir haben zwei Gaußsche Mischungen in : Nennen Sie ihre Dichten bzw. und bezeichnen Sie die Dichten ihrer Komponenten , mit , . $\mathbb R^d$ $\DeclareMathOperator{\N}{\mathcal N} \newcommand{\ud}{\mathrm{d}} \DeclareMathOperator{\E}{\mathbb E} \DeclareMathOperator{\MMD}{\mathrm{MMD}}$

P = \sum_{i = 1}^{n} α_{i} P_{i} = \sum_{i = 1}^{n} α_{i} N (μ_{i}, Σ_{i}) Q = \sum_{j = 1}^{m} β_{j} Q_{j} = \sum_{j = 1}^{m} N (m_{j}, S_{j}) .

$P = \sum_{i=1}^{n} \alpha_i P_i = \sum_{i=1}^n \alpha_i \N(\mu_i, \Sigma_i) \qquad Q = \sum_{j=1}^m \beta_j Q_j = \sum_{j=1}^m \N(m_j, S_j) .$

p (\cdot)

$p(\cdot)$

q (\cdot)

$q(\cdot)$

P_{i}

$P_i$

Q_{j}

$Q_j$

p_{i} (x) = N (x; μ_{i}, Σ_{i})

$p_i(x) = \N(x; \mu_i, \Sigma_i)$

q_{j} (x) = N (x; m_{j}, S_{j})

$q_j(x) = \N(x; m_j, S_j)$

Folgende Entfernungen stehen in geschlossener Form zur Verfügung:

$L_2$ Abstand, wie in einem Kommentar von user39665 vorgeschlagen. Dies ist: Beachten Sie, dass, wie in Abschnitt 8.1.8 von beispielsweise gesehen die Matrix - Kochbuch : damit dies leicht in Zeit ausgewertet werden kann .
$\begin{aligned} L_{2} (P, Q)^{2} & = \int (p (x) - q (x))^{2} d x \\ = \int {(\sum_{i} α_{i} p_{i} (x) - \sum_{j} β_{j} q_{j} (x))}^{2} d x \\ = \sum_{i, i^{'}} α_{i} α_{i^{'}} \int p_{i} (x) p_{i^{'}} (x) d x + \sum_{j, j^{'}} β_{j} β_{j^{'}} \int q_{j} (x) q_{j^{'}} (x) d x \\ - 2 \sum_{i, j} α_{i} β_{j} \int p_{i} (x) q_{j} (x) d x . \end{aligned}$ $\begin{align} L_2(P, Q)^2 &= \int (p(x) - q(x))^2 \,\ud x \\&= \int \left( \sum_{i} \alpha_i p_i(x) - \sum_j \beta_j q_j(x) \right)^2 \ud x \\&= \sum_{i,i'} \alpha_i \alpha_{i'} \int p_i(x) p_{i'}(x) \ud x + \sum_{j,j'} \beta_j \beta_{j'} \int q_j(x) q_{j'}(x) \ud x \\&\qquad - 2 \sum_{i,j} \alpha_i \beta_j \int p_i(x) q_j(x) \ud x .\end{align}$ $\begin{aligned} \int N (x; μ, Σ) N (x; μ^{'}, Σ^{'}) d x & = N (μ; μ^{'}, Σ + Σ^{'}) \end{aligned}$ $\begin{align} \int \N(x; \mu, \Sigma) \N(x; \mu', \Sigma') \,\ud x &= \N(\mu; \mu', \Sigma + \Sigma') \end{align}$ $O(m n)$
Die maximale mittlere Diskrepanz (MMD) mit einem Gaußschen RBF-Kernel. Dies ist eine coole Distanz, die in der Statistik-Community noch nicht sehr bekannt ist und deren Definition ein wenig Mathematik erfordert.

Lassen Sie definieren Sie den Hilbert-Raum als der reproduzierende Kernel-Hilbert-Raum, der : .
$k (x, y) := \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}),$ $k(x, y) := \exp\left( - \frac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right),$ $\mathcal{H}$ $k$

Definieren Sie den mittleren Kartenkern als
$K (P, Q) = E_{X \sim P, Y \sim Q} k (X, Y) = ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩ .$ $K(P, Q) = \E_{X \sim P, Y \sim Q} k(X, Y) = \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle .$

Die MMD ist dann
$\begin{aligned} M M D (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖ \\ = \sqrt{K (P, P) + K (Q, Q) - 2 K (P, Q)} \\ = sup_{f : ‖ f ‖_{H} \leq 1} E_{X \sim P} f (X) - E_{Y \sim Q} f (Y) . \end{aligned}$ $\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert \\&= \sqrt{K(P, P) + K(Q, Q) - 2 K(P, Q)} \\&= \sup_{f : \lVert f \rVert_{\mathcal H} \le 1} \E_{X \sim P} f(X) - \E_{Y \sim Q} f(Y) .\end{align}$

Beachten Sie für unsere Gemische und , dass und ähnlich für und . $P$ $Q$
$K (P, Q) = \sum_{i, j} α_{i} β_{j} K (P_{i}, Q_{j})$ $K(P, Q) = \sum_{i, j} \alpha_i \beta_j K(P_i, Q_j)$ $K(P, P)$

Es stellt sich heraus, unter Verwendung von ähnlichen Tricks wie für , dass ist $L_2$ $K(\N(\mu, \Sigma), \N(\mu', \Sigma'))$
$(2 π σ^{2})^{d / 2} N (μ; μ^{'}, Σ + Σ^{'} + σ^{2} I) .$ $(2 \pi \sigma^2)^{d/2} \N(\mu; \mu', \Sigma + \Sigma' + \sigma^2 I) .$

Als konvergiert dies eindeutig gegen ein Vielfaches der Distanz. Normalerweise möchten Sie jedoch ein anderes , eines auf der Skala der Datenvariation. $\sigma \to 0$ $L_2$ $\sigma$

Geschlossene Formen sind auch für Polynomkerne in der MMD verfügbar ; sehen $k$

Muandet, Fukumizu, Dinuzzo und Schölkopf (2012). Lernen aus Verteilungen über Support Measure Machines. Fortschritte in neuronalen Informationsverarbeitungssystemen ( offizielle Version ). arXiv: 1202,6504 .

Für viele schöne Eigenschaften dieser Entfernung siehe

Sriperumbudur, Gretton, Fukumizu, Schölkopf und Lanckriet (2010). Hilbert-Raumeinbettungen und Metriken für Wahrscheinlichkeitsmaße. Journal of Machine Learning Research, 11, 1517–1561 . arXiv: 0907.5309 .
Quadratische Jensen-Rényi-Divergenz. Die Rényi- Entropie ist definiert als Seine Grenze als ist die Shannon-Entropie. Die Jensen-Rényi-Divergenz ist wobei eine gleiche Mischung zwischen und . Es stellt sich heraus, dass Sie, wenn und und Gaußsche Gemische sind (wie hier), eine geschlossene Form für berechnen können . Dies wurde von gemacht $\alpha$
$H_{α} (p) = \frac{1}{1 - α} \log (\int p (x)^{α} d x) .$ $H_\alpha(p) = \frac{1}{1-\alpha} \log\left( \int p(x)^\alpha \,\ud x \right) .$ $\alpha \to 1$ ${J R}_{α} (p, q) = H_{α} (\frac{p + q}{2}) - \frac{H_{α} (p) + H_{α} (q)}{2}$ $\mathrm{JR}_\alpha(p, q) = H_\alpha\left( \frac{p + q}{2} \right) - \frac{H_\alpha(p) + H_\alpha(q)}{2}$ $\frac{p + q}{2}$ $p$ $q$ $\alpha = 2$ $P$ $Q$ $\mathrm{JR}_2$

Wang, Syeda-Mahmood, Vemuri, Beymer und Rangarajan (2009). Geschlossene Jensen-Renyi-Divergenz für die Mischung von Gaußschen und Anwendungen zur gruppenweisen Formregistrierung. Med Image Comput Comput Assist Interv., 12 (1), 648–655. ( kostenlose Pubmed-Version )

— Dougal
quelle

0

Wenn Ihre Cluster eigentlich keine Gaußschen Mischungen sind, sondern willkürlich geformt, können Ihre Ergebnisse tatsächlich viel besser sein, wenn Sie viel mehr Cluster erzeugen, und anschließend einige erneut zusammenführen.

In vielen Fällen wählt man einfach k als willkürlich hoch, z. B. 1000 für einen großen Datensatz; insbesondere, wenn Sie nicht wirklich an den Modellen interessiert sind, sondern nur die Komplexität des Datensatzes durch Vektorquantisierung reduzieren möchten.

— Hat aufgehört - Anony-Mousse
quelle

Ich habe die Cluster simuliert, die aus einer Gaußschen Mischung gezogen werden sollen, daher denke ich, dass meine Annahme gültig ist. Das Ziel hierbei ist nicht, die Komplexität zu reduzieren oder ein Entscheidungskriterium für die Auswahl von k zu finden, sondern zu vergleichen, wie gut k Cluster die Daten modellieren, wenn k tatsächlich falsch ist. Einige falsche Entscheidungen modellieren die Daten möglicherweise besser als andere, und ich versuche, diesen Grad der Fehlanpassung mit einigen Berechnungen zu quantifizieren (wie KL-Divergenz, aber für Gaußsche Gemische einfacher zu implementieren).

— Dmartin

0

Hier ist eine Verallgemeinerung des Mahalanobis D auf GMMs unter Verwendung der Fisher-Kernel-Methode und anderer Techniken:

Tipping, Michael E. "Ableiten von clusteranalytischen Distanzfunktionen aus Gaußschen Mischungsmodellen." (1999): 815 & ndash; 820. https://pdfs.semanticscholar.org/08d2/0f55442aeb79edfaaaafa7ad54c513ee1dcb.pdf

Siehe auch: Gibt es eine Multi-Gauß-Version der Mahalanobis-Distanz?

— Lenar Hoyt
quelle