Warum entspricht der Rekonstruktionsfehler der abgeschnittenen SVD der Summe der quadratischen Singularwerte?

Ich habe diese Formel in einem Lehrbuch gesehen: Die quadrierte Frobenius-Norm der ursprünglichen Matrix minus ihrer abgeschnittenen SVD (die als Approximationsfehler angesehen werden kann) entspricht der Summe der quadrierten Singularwerte. $\mathbf X$ $\mathbf X_k$

Warum ist das so? Wie kann man das beweisen?

svd approximation

— user93892
quelle

Lassen der SVD des seine Matrix . Seieine beliebige Matrixnorm sein, die bei orthogonalen Transformationen (Reflexionen und Rotationen) links- und rechtsinvariant ist; das heißt, wann immer eine orthogonale Matrix ist oder eine orthogonale Matrix ist, dann

X = U Σ V^{'}

$X = U\Sigma V^\prime$

n \times r

$n\times r$

X

$X$

| | | |

$||\quad ||$

P

$P$

n \times n

$n\times n$

Q

$Q$

r \times r

$r\times r$

| | P^{'} X Q | | = | | X | | .

$||P^\prime X Q|| = ||X||.$

Dann impliziert die Orthogonalität von und nach der Definition der SVD $U$ $V$

| | U^{'} (X - A) V | |^{2} = | | Σ - U^{'} A V | |^{2} .

$||U^\prime (X-A) V||^2 = ||\Sigma - U^\prime A V||^2.$

Da so formuliert ist, dass eine Diagonalmatrix ist, die mit den ersten Einträgen der Diagonalmatrix übereinstimmt , ist die rechte Seite nur die Quadratnorm von nachdem diese Diagonaleinträge auf Null gesetzt wurden. $A$ $U^\prime A V$ $k$ $\Sigma$ $\Sigma$ $k$

Für die Frobenius-Norm (deren Quadrat die Summe der quadratischen Einträge ihres Arguments ist) ist die quadratische Norm dieser auf Null gesetzten Kopie von genau die Summe der Quadrate ihrer verbleibenden Einträge $\Sigma$

| | Σ - U^{'} A V | |^{2} = \sum_{j = k + 1}^{r} δ_{j}^{2} .

$||\Sigma - U^\prime A V||^2 = \sum_{j=k+1}^r \delta_j^2.$

Aber die Frobenius-Norm ist offensichtlich bei Links- und Rechtsmultiplikation mit orthogonalen Matrizen unveränderlich, da Orthogonalität per Definition bedeutet, dass die Erhaltung der euklidischen Norm und der Frobenius-Norm (wenn im Quadrat) sowohl (a) die Summe der quadratischen euklidischen Normen der Reihen ist (und so ist bei der linken Multiplikation, die jede Zeilennorm beibehält, invariant) und (b) die Summe der quadratischen euklidischen Normen der Spalten (und so ist sie bei der rechten Multiplikation, bei der jede Spaltennorm erhalten bleibt, invariant).

— whuber
quelle