SVD einer Datenmatrix nach einer orthogonalen Projektion in einen Unterraum

Angenommen, ich kann die SVD einer Matrix : $X$

X = U S V^{T}

$X = USV^T$

Wenn ich eine orthogonale Matrix haben ( das heißt, ist quadratisch und orthonormal Spalten), dann wird der SVD von ist $A$ $A$ $XA$

X A = U S W^{T}

$XA = USW^T$ wobei .

W = A^{T} V

$W = A^TV$

Aber kann etwas über die SVD von gesagt werden, wenn orthonormale Säulen hat, aber nicht unbedingt quadratisch ist? Mit anderen Worten, wenn der SVD von ist kann die Matrizen , oder in Bezug auf die SVD geschrieben werden und ? $XB$ $B$ $XB$ $XB = DEF^T$ $D$ $E$ $F$ $X$ $B$

Update: @whuber schlägt vor, dass ich orthogonal erweitern kann, indem ich orthonormale Spalten hinzufüge, bis quadratisch ist. Rufen Sie diese orthogonale Matrix . $B$ $B$ $\tilde B$

\tilde{B} = [B; B_{⊥}]

$\tilde B = [B; B_{\perp}]$

Ich kenne den SVD von ist (siehe oben). Aber jetzt kämpfe ich darum, ob es eine Möglichkeit gibt, die SVD von in Bezug auf die SVD von schreiben . $X\tilde B$ $US(\tilde B^TV)^T$ $XB$ $X\tilde B$

pca svd matrix-decomposition

— Mobeets
quelle

Zum Beispiel ist es nicht der Fall, dass die SVD von ist, was wir haben, wenn wir wissen, dass quadratisch ist. Dies liegt daran, dass keine quadratische Matrix ist, was für die SVD zutreffen müsste. jedoch immer noch orthonormale Säulen.

X B = U S (B^{T} V)^{T}

$XB = US(B^TV)^T$

B

$B$

B^{T} V

$B^TV$

B^{T} V

$B^TV$

— Mobeets

B

$B$ kann verlängert werden, indem zusätzliche orthonormale Spalten in eine orthogonale Matrix eingefügt werden (verwenden Sie beispielsweise das Gram-Schmidt-Verfahren), wodurch Ihre Frage auf den ersten Fall reduziert wird.

— whuber

Cool, danke @whuber. So sagen ist die orthogonalisierten Version von . Wird mir die Kenntnis der SVD von etwas über die SVD von sagen ?

B^{'}

$B'$

B

$B$

X B^{'}

$XB'$

X B

$XB$

— Mobeets

Schreiben Sie es aus und Sie werden sehen, wie einfach und klar die Beziehung ist.

— whuber

@whuber Ich kann es nicht ganz sehen ... Folgendes habe ich versucht: Let . Dann ist .

B^{'} = [B; B_{⊥}]

$B' = [B; B_{\perp}]$

X B^{'} = [X B; X B_{⊥}] = U S (B^{' T} V)^{T} = U S ([\begin{matrix} B^{T} \\ B_{⊥}^{T} \end{matrix}] V)^{T} = U S {[\begin{matrix} B^{T} V \\ B_{⊥}^{T} V \end{matrix}]}^{T}

$XB' = [XB; XB_{\perp}] = US(B'^TV)^T = US(\left[\begin{matrix}B^T \\ B_{\perp}^T\end{matrix}\right]V)^T = US\left[\begin{matrix}B^TV \\ B_{\perp}^TV\end{matrix}\right]^T$

— Mobeets

Antworten:

In der SVD , wobei eine Matrix ist, ist eine orthogonale Matrix. $X = USV^\prime$ $X$ $n\times p$ $V$ $p\times p$

Angenommen, ist eine orthogonale Matrix, . Lassen $B$ $p\times q$ $B^\prime B = 1_q$

\begin{matrix} (1) & S V^{'} B = T D W^{'} \end{matrix}

$S V^\prime B = TDW^\prime\tag{1}$

ein SVD sein . Somit ist per Definition eine Matrix, ist eine diagonale Matrix der Dimension und ist eine orthogonale Matrix. $S V^\prime B$ $T$ $p\times q$ $D$ $q$ $W$ $q\times q$

Berechnen

\begin{matrix} (2) & X B = (U S V^{'}) B = U (S V^{'} B) = U (T D W^{'}) = (U T) D (W^{'}) . \end{matrix}

$XB = (USV^\prime) B = U(SV^\prime B) = U(TDW^\prime) = (UT)D(W^\prime).\tag{2}$

Da , hat orthonormale Spalten. Da und Teil einer SVD sind, ist per Definition diagonal mit nicht negativen Einträgen und ist eine orthogonale Matrix. Folglich ergibt Gleichung eine SVD von . Gleichung zeigt, wie diese SVD mit der von und . $(UT)^\prime (UT) = T^\prime (U^\prime U) T = T^\prime T = 1_q$ $UT$ $D$ $W^\prime$ $D$ $W$ $q\times q$ $(2)$ $XB$ $(1)$ $X$ $B$

— whuber
quelle

Danke für die Antwort. Dies scheint jedoch eine Möglichkeit zu sein, die SVD von über die Berechnung der SVD von , nur die SVD von . Ich hatte gehofft zu wissen, ob es eine Möglichkeit gibt, die SVD von zu finden, ohne zusätzliche SVDs berechnen zu müssen, wie es möglich ist, wenn quadratisch ist.

X B

$XB$

S V^{'} B

$SV'B$

X

$X$

X B

$XB$

B

$B$

— Mobeets

Für eine Matrix mit orthonormalen Spalten (aber nicht quadratisch) möchte ich einen Weg finden, eine SVD von in Bezug auf die SVD von . $B$ $XB$ $X = USV^T$

Wie von @whuber vorgeschlagen, besteht ein erster Schritt zum Finden der SVD von darin, Spalten zu hinzuzufügen , um sie quadratisch (und damit orthogonal) zu machen. Nennen Sie diese Matrix und sei die Anzahl der Spalten von . Dann , da orthogonal ist, wenn ein SVD ist , dann ist ein SVD von . $XB$ $B$ $\tilde B = [B; B_{\perp}]$ $k$ $B_{\perp}$ $\tilde B$ $X = USV^T$ $X$ $X\tilde B = US(\tilde B^TV)^T$ $X \tilde B$

Da durch Löschen der letzten Spalten von werden kann, reduziert sich mein ursprüngliches Problem jetzt auf Folgendes: Gibt es angesichts der SVD einer Matrix eine Möglichkeit, die SVD von , wobei die Matrix ist, die sich aus dem der letzten Spalten von ergibt ? (Hier habe ich und .) $XB$ $X\tilde B$ $k$ $Y = DEF^T$ $Y' = D'E'F'^T$ $Y'$ $k$ $Y$ $Y = X\tilde B$ $Y' = XB$

Dieses Problem wird als "Downdating der SVD" bezeichnet, und im Allgemeinen scheint es dafür viele Ansätze zu geben. Ein relevanter Ansatz gefunden werden hier , und mehr Diskussion hier .

Angesichts der Tatsache, dass Algorithmen zum Herunterdatieren der SVD ein Bereich aktiver Forschung zu sein scheinen, komme ich im Allgemeinen zu dem Schluss, dass es keinen einfachen Weg gibt, die SVD von wenn nur die SVD von . $XB$ $X$

— Mobeets
quelle

+1. Ich denke, Sie identifizieren das Problem richtig: Es gibt keinen "einfachen" Weg. Ich finde es ziemlich intuitiv, wenn Sie ein einfaches Spielzeugbeispiel betrachten: zB eine in diagonaler Richtung verlängerte 2D-Datenwolke. Die beiden ursprünglichen Singularvektoren sind diagonal. Durch Multiplizieren der Datenmatrix mit einer quadratischen orthogonalen Matrix wird einfach die gesamte Wolke gedreht, sodass die singulären Vektoren bis zur Drehung gleich bleiben. Wenn Sie die Datenwolke jedoch beispielsweise auf die horizontale Linie (1D-Unterräume) projizieren, ändert sich ihre Form vollständig. Jetzt ist der einzige singuläre Vektor horizontal. Neue singuläre Vektoren haben nichts mit den alten zu tun.

— Amöbe

Das ist eine großartige intuitive Erklärung für den Unterschied. Zuerst fand ich es ziemlich ärgerlich, dass es eine so einfache Beziehung für orthogonale Matrizen geben könnte, aber dann nicht mehr, wenn Sie nur eine einzelne Spalte dieser Matrix entfernen. Aber jetzt macht alles Sinn. Vielen Dank!

— Mobeets

Genau. Als ich Ihren Beitrag zum ersten Mal las, dachte ich: Was für eine naive Frage! :-) klar muss man einfach die singulären Vektoren drehen (mit einer Matrix "erweitert", um eine Rotationsmatrix zu sein, wie whuber schrieb) und dann einige von ihnen fallen lassen (entsprechend dem "erweiterten" Teil). Aber das ist natürlich falsch.

— Amöbe