Optimierung mit orthogonalen Einschränkungen

Ich arbeite an Computer Vision und muss eine Zielfunktion optimieren, die Matrix beinhaltet $X$ und Matrix $X$ ist eine orthogonale Matrix.

$$maximize \ \ f(X)$$

$$s.t \ \ X^T X=I$$ Wo $I$ist die Einheitsmatrix. Ich lese gerade eine Zeitung und sie sprachen über komplizierte Begriffe wie Optimierung über Grassmanian Manfiold, Stiefel Manifold. Grundsätzlich unterscheidet sich der Gradient auf diesen Mannigfaltigkeiten von den regulären Gradienten über euklidischen Räumen.

Können Sie mir ein leicht zu lesendes Papier vorschlagen, damit ich die gradientenbasierte Methode auf diesen Mannigfaltigkeiten implementieren kann? Wenn es einfache Matlab-Beispiele gibt, die die Dokumente veranschaulichen, ist dies hilfreich

Vielen Dank

Ich fand das folgende Papier nützlich:

Edelman, A., Arias, TA & Smith, ST (1998). Die Geometrie von Algorithmen mit Orthogonalitätsbeschränkungen . SIAM Journal on Matrix Analysis and Applications, 20 (2), 303-353.

Dieses Dokument enthält weitaus mehr Informationen als Sie möglicherweise benötigen, was die Differentialgeometrie und Optimierungsmethoden höherer Ordnung betrifft.

Die Informationen zur Beantwortung Ihrer Frage sind jedoch recht einfach und enthalten hauptsächlich die Gleichungen 2.53 und 2.70, die beide die Form haben

$$\nabla{f}=G-X\Phi$$ wo der nominelle Gradient $$G=\frac{\partial{f}}{\partial{X}}$$ wird auf einen eingeschränkten Gradienten korrigiert $\nabla{f}$ durch Subtrahieren seiner Projektion $\Phi$ auf die aktuelle Lösung $X$. Dies ist die Normale zum Verteiler, ähnlich wie bei einer Kreisbewegung , und stellt sicher, dass der korrigierte Gradient den Verteiler tangiert.

Hinweis: Diese Formeln setzen voraus, dass Sie sich bereits auf dem Verteiler befinden, d. H.$X^TX=I$. In der Praxis müssen Sie also sicherstellen, dass Ihr Ausgangszustand angemessen ist (z$X_0=I$möglich rechteckig). Möglicherweise müssen Sie auch gelegentlich akkumulierte Rundungs- und / oder Kürzungsfehler korrigieren (z. B. über SVD, siehe Beispiel "ZCA" unten).

Im ungezwungenen Fall $\Phi=0$im eingeschränkten Fall $\Phi$ nimmt zwei Formen an:

$$\Phi_{\mathrm{\small{G}}}=X^TG\implies\nabla_{\mathrm{\small{G}}}{f}=\left(I-XX^T\right)G$$ das entspricht der "Grassmann-Mannigfaltigkeit". Der Unterschied hier ist das$\nabla_{\mathrm{\small{G}}}$ist unempfindlich gegen Rotationen , da für eine Rotation$Q^TQ=I$ und $X=X_0Q$, wir haben $XX^T=X_0X_0^T$.

Die zweite Form ist

$$\Phi_{\mathrm{\small{S}}}=G^TX\implies\nabla_{\mathrm{\small{S}}}{f}=G-XG^TX$$ Das entspricht dem "Stiefel-Verteiler" und ist drehempfindlich.

Ein einfaches Beispiel ist die Approximation einer gegebenen Matrix $A\in\mathbb{R}^{n\times{p}}$ mit $p\leq{n}$ durch eine orthogonale Matrix $X$Minimieren des Fehlers der kleinsten Quadrate. In diesem Fall haben wir

$$f[X]=\tfrac{1}{2}\|X-A\|_F^2=\tfrac{1}{2}\sum_{ij}\left(X_{ij}-A_{ij}\right)^2\implies{G}=X-A$$ Das ungezwungene Fall$\nabla{f}=G$ hat Lösung $X=A$, weil es uns nicht darum geht, dies sicherzustellen $X$ ist orthogonal.

Für den Grassmann-Fall haben wir

$$\nabla_{\mathrm{\small{G}}}{f}=\left(XX^T-I\right)A=0$$ Dies kann nur eine Lösung haben $A$ ist eher quadratisch als "dünn", denn wenn $p<n$ dann $X$wird ein Null-Leerzeichen haben .

Für den Stiefel-Fall haben wir

$$\nabla_{\mathrm{\small{S}}}{f}=XA^TX-A=0$$ was auch dann gelöst werden kann $p<n$.

Diese beiden Fälle, Grassmann vs. Stiefel, entsprechen im Wesentlichen dem Unterschied zwischen " PCA vs. ZCA Whitening ". In Bezug auf die SVD , wenn die Eingabematrix ist$A=USV^T$, dann sind die Lösungen $X_{\mathrm{\small{G}}}=U$ und $X_{\mathrm{\small{S}}}=UV^T$. Die PCA-Lösung$X_{\mathrm{\small{G}}}$ gilt nur für eine quadratische Eingabe, dh $A$muss die " Kovarianzmatrix " sein. Allerdings die ZCA-Lösung$X_{\mathrm{\small{S}}}$ kann verwendet werden, wenn $A$ist eine " Datenmatrix ". (Dies ist besser bekannt als das Problem der orthogonalen Krusten .)