Warum ist die Optimierung einer Gaußschen Mischung direkt rechnerisch schwierig?

18

Betrachten Sie die logarithmische Wahrscheinlichkeit einer Mischung von Gaußschen:

l (S_{n}; θ) = \sum_{t = 1}^{n} \log f (x^{(t)} | θ) = \sum_{t = 1}^{n} \log {\sum_{i = 1}^{k} p_{i} f (x^{(t)} | μ^{(i)}, σ_{i}^{2})}

$l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\}$

Ich habe mich gefragt, warum es rechenintensiv ist, diese Gleichung direkt zu maximieren. Ich suchte entweder nach einer klaren, soliden Vorstellung, warum es offensichtlich sein sollte, dass es schwierig ist, oder nach einer genaueren Erklärung, warum es schwierig ist. Ist dieses Problem NP-komplett oder wissen wir noch nicht, wie wir es lösen sollen? Verwenden wir deshalb den EM - Algorithmus ( Expectation-Maximization )?

Notation:

$S_n$ = Trainingsdaten.

$x^{(t)}$ = Datenpunkt.

$\theta$ = der Parametersatz, der den Gauß'schen Wert, dessen Mittelwert, die Standardabweichung und die Wahrscheinlichkeit angibt, aus jedem Cluster / jeder Klasse / jedem Gauß'schen Wert einen Punkt zu erzeugen.

$p_i$ = die Wahrscheinlichkeit, einen Punkt aus Cluster / Klasse / Gaußscher i zu erzeugen.

machine-learning gaussian-mixture expectation-maximization

— Pinocchio
quelle

14

Erstens ist GMM ein spezieller Algorithmus für das Clustering, bei dem Sie versuchen, die optimale Kennzeichnung Ihrer Beobachtungen zu finden. Wenn Sie über mögliche Klassen verfügen , bedeutet dies, dass Ihre Trainingsdaten über mögliche Beschriftungen verfügen. Dies wird bereits für moderate Werte von und groß . $n$ $k$ $k^n$ $k$ $n$

Zweitens ist die Funktion, die Sie zu minimieren versuchen, nicht konvex und macht es zusammen mit der Größe Ihres Problems sehr schwierig. Ich weiß nur, dass k-means (GMM kann als weiche Version von kmeans angesehen werden) NP-hart ist. Mir ist jedoch nicht bekannt, ob dies auch für GMM nachgewiesen wurde.

Um festzustellen, dass das Problem nicht konvex ist, betrachten Sie den eindimensionalen Fall: und prüfen Sie, ob Sie nicht garantieren können

L = \log (e^{- (x / σ_{1})^{2}} + e^{- (x / σ_{2})^{2}})

$L = \log \left(e^{-({x}/{\sigma_{1}})^2} + e^{-({x}/{\sigma_{2}})^2}\right)$

für alle x.

\frac{d^{2} L}{d x^{2}} > 0

$\frac{d^2L}{dx^2} > 0$

Ein nicht konvexes Problem bedeutet, dass Sie in lokalen Minima stecken bleiben können. Im Allgemeinen haben Sie nicht die starken Garantien, die Sie für die konvexe Optimierung haben, und die Suche nach einer Lösung ist auch viel schwieriger.

— jpmuc
quelle

3

Zum zweiten Punkt: k-means kann als Sonderfall von GVM angesehen werden (genauer ein Grenzfall, in dem die Varianzen auf Null gesetzt werden). Wenn wir k-means auf die Anpassung eines GMM reduzieren können, muss letzteres ebenfalls ein NP-hartes Problem sein.

— Lucas

1

@Lucas: Hier ist ein Cross Validated Link zu Ihrer Bemerkung.

— Xi'an

7

Lassen Sie mich zusätzlich zu Juampas Punkten auf diese Schwierigkeiten hinweisen:

Die Funktion unbeschränkt ist , so dass das wahre Maximum und entspricht (zum Beispiel) und . Ein echter Maximierer sollte daher mit dieser Lösung enden, die für Schätzzwecke nicht nützlich ist. $l(\theta|S_n)$ $+\infty$ $\hat\mu^{(i)}=x_1$ $\hat\sigma_i=0$
Auch ohne die Berücksichtigung Bedingungen der Zersetzung des Produktes von Summen als eine Summe von Produkten in , um die Funktion in maximierte ist hoch multimodalen (zusätzlich zu dem nicht-konvex) eine Herausforderung für numerische Methoden. EM erkennt die Schwierigkeit an, indem es zu einem lokalen Modus oder Sattelpunkt konvergiert und mehrere Läufe erfordert. Wie auf gezeigt $k^n$ $l(\theta|S_n)$ $\theta$

aus meinem buch genommen .

Eine zusätzliche Bemerkung: Ohne den EM-Algorithmus aufzurufen, kann man einen Standard-Optimierungsalgorithmus (wie Newton-Raphson) jeweils für einen Parameter verwenden, dh iterieren

$\theta_1^\prime=\arg\max_{\theta_1} l(\theta|S_n)$
$\theta_2^\prime=\arg\max_{\theta_2} l(\theta_1^\prime,\theta_{-1}|S_n)$
...
$\theta_v^\prime=\arg\max_{\theta_v} l(\theta_{-v}^\prime,\theta_v|S_n)$

$v$ $l(\theta|S_n)$

— Xi'an
quelle

OK, L ist nicht begrenzt, wenn die Varianz 0 ist. Wenn wir sie jedoch von den möglichen Parametern ausschließen (also alle Varianz> 0 annehmen), sollte L nicht so hoch sein, wenn eine infinitesimal gewählte Varianz vorliegt (wegen anderer Punkte). Habe ich recht? Dann wäre für diesen möglichen Parametersatz L begrenzt, und dies impliziert, dass der EM-Algorithmus konvergiert (wobei die begrenzte Sequenz zunimmt).

— Ahstat

@ahstat: Die Annahme, dass die Varianzen streng positiv sind, hindert die EM nicht daran, zu einer entarteten Lösung zu konvergieren, wenn sie eng genug gestartet wird.

— Xi'an