Ableiten des K-Mittelwert-Algorithmus als Grenze der Erwartungsmaximierung für Gaußsche Gemische

Christopher Bishop definiert den erwarteten Wert der Likelihood-Funktion für das vollständige Datenprotokoll (dh unter der Annahme, dass wir sowohl die beobachtbaren Daten X als auch die latenten Daten Z erhalten) wie folgt:

$$\mathbb{E}_\textbf{Z}[\ln p(\textbf{X},\textbf{Z} \mid \boldsymbol{\mu}, \boldsymbol{\Sigma}, \boldsymbol{\pi})] = \sum_{n=1}^N \sum_{k=1}^K \gamma(z_{nk})\{\ln \pi_k + \ln \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)\} \tag 1$$

Dabei ist $\gamma(z_{nk})$ definiert als:

$$\frac{\pi_k \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)}{\sum_{j=1}^K \pi_j \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_j, \boldsymbol{\Sigma}_j)} \tag 2$$

Wie beschrieben, besteht die Idee darin, ein Gaußsches Mischungsmodell zu betrachten, bei dem die Kovarianzmatrizen der Mischungskomponenten durch $\epsilon \textbf{I}$ , wobei $\epsilon$ ein Varianzparameter ist, der von allen Komponenten gemeinsam genutzt wird, wie z Das:

$$p(\textbf x \mid \boldsymbol \mu_k, \boldsymbol \Sigma_k) = \frac{1}{(2 \pi \epsilon)^\frac{M}{2}} \exp\big\{{-\frac{1}{2 \epsilon} \|\textbf x - \boldsymbol \mu_k\|^2}\big\} \tag 3$$

und so ist $\gamma(z_{nk})$ jetzt definiert als:

$$\frac{\pi_k \exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \| \textbf x_n - \boldsymbol \mu_j\|^2 / 2 \epsilon\}} \tag 4$$

Das Argument ist jetzt das folgende:

Wenn wir die Grenze , sehen wir im Nenner den Term, für den ist am kleinsten, geht am auf Null, und daher gehen die Verantwortlichkeiten für den Datenpunkt bis auf Term j alle auf Null. für die die Verantwortung zur Einheit geht. Somit erhalten wir in dieser Grenze eine harte Zuordnung von Datenpunkten zu Clustern, genau wie im Mittel-Algorithmus, so dass$\epsilon \to 0$$\| \textbf x_n - \boldsymbol \mu_j\|^2$$\gamma(z_{nk})$$\textbf x_n$$\gamma(z_{nk})$$K$$\gamma(z_{nk}) \to r_{nk}$

Dabei ist definiert als:$r_{nk}$

$$\begin{equation*} f(n) = \begin{cases} 1 & \text{if } k = \text{arg } \text{min}_j \|\textbf x_n - \boldsymbol \mu_j\|^2\\ 0 & \text{otherwise}\\ \tag 5 \end{cases} \end{equation*}$$

Meine Frage ist, wie das obige Argument gilt? Was bedeutet es nämlich, wenn ein Begriff auf Null geht ? Und wie führt das Setzen des Limits in Gleichung zu einer binären Verantwortung?$\textbf{most slowly}$$\epsilon \to 0$$4$

Schreiben wir Dann Wenn wir , haben wir where Ausnahme von wobei

$$\|\textbf x_n - \boldsymbol \mu_k\|^2=\delta_k\,.$$ $$\frac{\pi_k \exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \| \textbf x_n - \boldsymbol \mu_j\|^2 / 2 \epsilon\}}=\frac{\pi_k \exp\{ - \delta_k/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \delta_j/ 2 \epsilon\}}$$ $$\delta^*=\min_n\delta_n\,,$$ $$\begin{align*} \frac{\pi_k \exp\{ - \delta_k/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \delta_j/ 2 \epsilon\}}&=\frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}} \end{align*}$$ $\delta^*-\delta_k<0$$k=k^*$$\delta^*-\delta_{k^*}=0$ . Also, für alle , , da für , , während $k\ne k^*$ $$\lim_{\epsilon\to 0} \frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=\lim_{\epsilon\to 0} \frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\pi_{k^*}+\sum_{j\ne k^*} \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=0$$ $a>0$ $$\lim_{\epsilon\to 0}\exp\{-a/\epsilon \}=0$$ $$\lim_{\epsilon\to 0} \frac{\pi_{k^*} \exp\{(\delta^*- \delta_{k^*})/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=\lim_{\epsilon\to 0} \frac{\pi_{k^*} \times 1}{\pi_{k^*}+\sum_{j\ne k^*} \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=1$$