Erklären Sie die Schritte des LLE-Algorithmus (Local Linear Embedding).

Ich verstehe, dass das Grundprinzip des Algorithmus für LLE aus drei Schritten besteht.

1. Ermitteln der Nachbarschaft jedes Datenpunkts anhand einer Metrik wie k-nn.
2. Suchen Sie für jeden Nachbarn Gewichte, die die Auswirkung des Nachbarn auf den Datenpunkt angeben.
3. Konstruieren Sie die niedrig dimensionale Einbettung der Daten basierend auf den berechneten Gewichten.

Die mathematische Erklärung der Schritte 2 und 3 ist jedoch in allen von mir gelesenen Lehrbüchern und Online-Ressourcen verwirrend. Ich kann nicht nachvollziehen, warum die Formeln verwendet werden.

Wie werden diese Schritte in der Praxis durchgeführt? Gibt es eine intuitive Möglichkeit, die verwendeten mathematischen Formeln zu erklären?

Referenzen: http://www.cs.nyu.edu/~roweis/lle/publications.html

Durch lokales lineares Einbetten (Local Linear Embedding, LLE) muss der Abstand zwischen entfernten Objekten nicht mehr geschätzt werden, und die globale nichtlineare Struktur wird durch lokale lineare Anpassungen wiederhergestellt. LLE ist vorteilhaft, weil es keine Parameter wie Lernraten oder Konvergenzkriterien enthält. LLE skaliert auch gut mit der intrinsischen Dimensionalität von $\mathbf{Y}$ . Die Zielfunktion für LLE ist

$$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$$ Die Gewichtungsmatrix$\mathbf{W}$ Elemente$w_{ij}$ für Objekte$i$ und$j$ werden auf Null gesetzt, wenn$j$ kein nächster Nachbar von$i$ , andernfalls die Gewichte für die K- nächste Nachbarn des Objekts$i$ überkleinsten Quadrate bestimmt werden Anfälle von $$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$$ wobei der abhängigen Variable$\mathbf{U}$ a$K \times 1$ - Vektor von Einsen,$\mathbf{G}$ a$K \times K$ Gramm-Matrix für alle nächsten Nachbarn des Objekts $i$ , und $\boldsymbol{\beta}$ ist ein $K \times 1$ Vektor von Gewichten, die Summen-zu-Einheits-Beschränkungen folgen. Sei $\mathbf{D}$ eine symmetrisch positive semidefinite $K \times K$ Distanzmatrix für alle Paare der K-nächsten Nachbarn des $p$ dimensionalen Objekts $\mathbf{x}_i$ . Es kann gezeigt werden, dass $\mathbf{G}$ gleich der doppelt zentrierten Distanzmatrix $\boldsymbol{\tau}$ mit Elementen $$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$$ Die$K$Regressionskoeffizienten werden unter Verwendungnumerisch bestimmt $$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$$ und überprüftum sie auf Eins summieren zu bestätigen. Die Werte von$\boldsymbol{\beta}$sind in die Reihe$i$vonWeingebettet$\mathbf{W}$ an den verschiedenen Spaltenpositionen, die den K-nächsten Nachbarn des Objekts entsprechen$i$ , sowie den Transponierungselementen. Dies wird für jedes$i$ te Objekt im Datensatzwiederholt. Es ist zu beachten, dass W spärlich sein kann, wenn die Anzahl der nächsten Nachbarn$K$ zu gering ist,was dazu führt, dass die Eigenanalyse schwierig wird. Es wurde beobachtet, dass K = 9 nächste Nachbarn zu W- Matrizen führten, die während der Eigenanalyse keine Pathologien enthielten. Die Zielfunktion wird minimiert, indem die kleinsten Nicht-Null-Eigenwerte von ( I - W ) ⊤ ( I - W ermittelt werden$\mathbf{W}$$K=9$$\mathbf{W}$ $$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$$ Die reduzierte Form von$\mathbf{X}$ wird durch$\mathbf{Y}=\mathbf{E}$ wobei$\mathbf{E}$ Dimensionen$n \times 2$ die auf den zwei niedrigsten Eigenwerten von$\boldsymbol{\Lambda}$ basieren.