Warum kann ich keine gültige SVD von X durch Eigenwertzerlegung von XX 'und X'X erhalten?

Ich versuche SVD von Hand zu machen:

m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U=eigen(m%*%t(m))$vector
V=eigen(t(m)%*%m)$vector
D=sqrt(diag(eigen(m%*%t(m))$values))

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d)

U1%*%D1%*%t(V1)
U%*%D%*%t(V)

Die letzte Zeile kehrt jedoch nicht mzurück. Warum? Es scheint etwas mit Anzeichen dieser Eigenvektoren zu tun zu haben ... Oder habe ich das Verfahren falsch verstanden?

r svd eigenvalues

— gescheiterter Statistiker
quelle

Siehe stats.stackexchange.com/search?q=svd+sign .

— whuber

Mir wurde wiederholt gesagt, dass Zeichen in SVDs keine Rolle spielen ... so

— gescheiterter Statistiker

@ Amoeba Danke, dass du das klargestellt hast. Ich habe mich eher auf die englische Frage als auf den Code konzentriert. Failedstatistician: Sehen Sie, was D=diag(c(-1,1,1)*sqrt(eigen(m%*%t(m))$values))funktioniert, und denken Sie daran, dass die Quadratwurzel (sowie jeder normalisierte Eigenvektor) nur bis zum Vorzeichen definiert ist. Um weitere Informationen zu erhalten, ändern Sie mdiese m <- matrix(-2,1,1)und schließen Sie sie ,1,1)am Ende jedes Aufrufs an ein diag. Dies ist ein

Beispiel, das das gleiche Problem verursacht - aber es ist so einfach, dass die Art des Problems völlig offensichtlich wird.

1 \times 1

$1\times 1$

— whuber

Verstanden. Vielen Dank! Haben Sie eine allgemeine Regel zur Bestimmung des Vektors c (-1, 1, 1)? Oder wie sollen die Zeichen der beiden Zersetzung verknüpft werden?

— Failedstatistician

Beachten Sie, dass der Trick von @ whuber mit c(-1,1,1)funktioniert, aber so Ddefiniert keine singulären Werte liefert . Singularwerte müssen per Definition alle positiv sein. Die Frage, wie man die Zeichen von Uund verknüpft, Vist gut, und ich habe keine Antwort. Warum machst du nicht einfach eine SVD? :-)

— Amöbe

Antworten:

Analyse des Problems

Die SVD einer Matrix ist niemals eindeutig. Die Matrix habe die Dimensionen und ihre SVD sei $A$ $n\times k$

A = U D V^{'}

$A = U D V^\prime$

für eine Matrix mit orthonormalen Spalten, eine diagonale Matrix mit nicht negativen Einträgen und eine Matrix mit orthonormalen Spalten. $n\times p$ $U$ $p\times p$ $D$ $k\times p$ $V$

$p\times p$ $S$ $\pm 1$ $S^2 = I$ $p\times p$ $I_p$

A = U D V^{'} = U I D I V^{'} = U (S^{2}) D (S^{2}) V^{'} = (U S) (S D S) (V S)^{'}

$A = U D V^\prime = U I D I V^\prime = U (S^2) D (S^2) V^\prime = (US) (SDS) (VS)^\prime$

$A$

(U S)^{'} (U S) = S^{'} U^{'} U S = S^{'} I_{p} S = S^{'} S = S^{2} = I_{p}

$(US)^\prime(US) = S^\prime U^\prime U S = S^\prime I_p S = S^\prime S = S^2 = I_p$

U S

$US$

V S

$VS$

S

$S$

D

$D$

S D S = D S^{2} = D

$S D S = DS^2 = D$

D

$D$

$U$

A A^{'} = (U D V^{'}) (U D V^{'})^{'} = U D V^{'} V D^{'} U^{'} = U D^{2} U^{'}

$AA^\prime = (UDV^\prime)(UDV^\prime)^\prime = UDV^\prime V D^\prime U^\prime = UD^2 U^\prime$

V

$V$

A^{'} A = V D^{2} V^{'} .

$A^\prime A = VD^2V^\prime.$

D

$D$

D^{2}

$D^2$ $U$ $V$

Eine Lösung

$U$ $V$

U^{'} A V = U^{'} (U D V^{'}) V = (U^{'} U) D (V^{'} V) = D

$U^\prime A V = U^\prime (U D V^\prime) V = (U^\prime U) D (V^\prime V) = D$

$D$ $A^\prime A$ $AA^\prime$ $S$ $D$ $SD$ $U$ $S$

A = U D V^{'} = (U S) (S D) V^{'} .

$A = U D V^\prime = (US) (SD) V^\prime.$

Das ist eine SVD.

Beispiel

$n=p=k=1$ $A=(-2)$

(- 2) = (1) (2) (- 1)

$(-2) = (1)(2)(-1)$

$U=(1)$ $D=(2)$ $V=(-1)$

$A^\prime A = (4)$ $U=(1)$ $D=(\sqrt{4})=(2)$ $AA^\prime=(4)$ $V=(1)$

U D V^{'} = (1) (2) (1) = (2) \neq A .

$UDV^\prime = (1)(2)(1) = (2) \ne A.$

D = U^{'} A V = (1)^{'} (- 2) (1) = (- 2) .

$D=U^\prime A V = (1)^\prime (-2) (1) = (-2).$

S = (- 1)

$S=(-1)$

U

$U$

U S = (1) (- 1) = (- 1)

$US = (1)(-1)=(-1)$

D

$D$

S D = (- 1) (- 2) = (2)

$SD = (-1)(-2)=(2)$

A = (- 1) (2) (1),

$A = (-1)(2)(1),$

Code

Hier ist Code geändert. Seine Ausgabe bestätigt

Die Methode wird mkorrekt neu erstellt .
$U$ $V$
Das Ergebnis ist jedoch nicht dieselbe SVD, die von zurückgegeben wurde svd. (Beide sind gleichermaßen gültig.)

m <- matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U <- eigen(tcrossprod(m))$vector
V <- eigen(crossprod(m))$vector
D <- diag(zapsmall(diag(t(U) %*% m %*% V)))
s <- diag(sign(diag(D)))  # Find the signs of the eigenvalues
U <- U %*% s              # Adjust the columns of U
D <- s %*% D              # Fix up D.  (D <- abs(D) would be more efficient.)

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d,n,n)

zapsmall(U1 %*% D1 %*% t(V1)) # SVD
zapsmall(U %*% D %*% t(V))    # Hand-rolled SVD
zapsmall(crossprod(U))        # Check that U is orthonormal
zapsmall(tcrossprod(V))       # Check that V' is orthonormal

— whuber
quelle

+1. Das ist sehr klar. Ich würde nur hinzufügen, dass es in der Praxis ausreicht, entweder Uoder zu berechnen Vund dann eine andere Matrix durch Multiplikation mit zu erhalten A. Auf diese Weise führt man nur eine (anstelle von zwei) Eigendekompositionen durch, und die Vorzeichen werden richtig herauskommen.

— Amöbe

@Amoeba Das ist richtig: Im Sinne der Handberechnung einer SVD, die offensichtlich eine pädagogische Übung ist, wird hier der Effizienz keine Aufmerksamkeit geschenkt.

— whuber

Danke für deine freundliche Hilfe! Ich glaube, ich verstehe dieses Problem (endlich).

— Failedstatistician

@ Federico Danke für diese Erinnerung. Sie haben ganz recht - ich habe implizit angenommen, dass alle Eigenwerte unterschiedlich sind, denn dies wird in statistischen Anwendungen mit ziemlicher Sicherheit der Fall sein, und man hat die Gewohnheit, die Mehrdeutigkeiten mit "entarteten" Eigenräumen zu berücksichtigen.

— whuber

U

$U$

V

$V$

Wie ich in einem Kommentar zur Antwort von @ whuber dargelegt habe, funktioniert diese Methode zur Berechnung der SVD nicht für jede Matrix . Das Problem ist nicht auf Zeichen beschränkt.

$A'A$ $AA'$ $U$ $V$ $A=\begin{bmatrix}3/5&4/5\\-4/5&3/5\end{bmatrix}$ $AA'=A'A=I$ $I$ eigen $U=V=I$ $U'AV=A$

$U$ $V$

$A$ $A'A$ $AA'$ $\|A\|^2u$ $u \approx 2\times 10^{-16}$ $10^{-8}$

Das Berechnen der SVD aus den beiden Eigendekompositionen ist ein großartiges Lernbeispiel, aber in realen Anwendungen wird immer die svdFunktion von R verwendet, um die Singularwertzerlegung zu berechnen.

— Federico Poloni
quelle

Dieser Kommentar ist ein guter Rat. Bitte beachten Sie jedoch, dass dieser Thread nicht über die richtige Methode zur Berechnung der SVD besorgt ist (und ich glaube, niemand würde gegen Ihre Empfehlung argumentieren). Das OP akzeptiert implizit, dass dies svdfunktioniert. In der Tat verwenden sie es als Standard, um eine Handberechnung zu vergleichen, deren Zweck es ist, das Verständnis zu überprüfen und svdin keiner Weise zu ersetzen .

— whuber

@whuber Richtige Beobachtung; Ich habe den letzten Absatz umformuliert.

— Federico Poloni