Welche Norm des Rekonstruktionsfehlers wird durch die mit PCA erhaltene niedrigrangige Approximationsmatrix minimiert?

Bei einer PCA (oder SVD) Angleichung der Matrix $X$ mit einer Matrix , wir wissen , dass die beste Low-Rang Approximation ist . $\hat X$ $\hat X$ $X$

Ist dies nach der induzierten $\parallel \cdot \parallel_2$ Norm (dh der größten Eigenwertnorm) oder nach der Frobenius $\parallel \cdot \parallel_F$ Norm?

pca svd matrix-decomposition

— Donbeo
quelle

Einzelwortantwort: Beide.

$X$ $2$

‖ X ‖_{2} = s u p \frac{‖ X v ‖_{2}}{‖ v ‖_{2}} = m ein x (s_{ich})

$\|X\|_2 = \mathrm{sup}\frac{\|Xv\|_2}{\|v\|_2} = \mathrm{max}(s_i)$

‖ X ‖_{F} = \sqrt{\sum_{ich j} X_{ich j}^{2}} = t r (X^{⊤} X) = \sqrt{\sum s_{ich}^{2}},

$\|X\|_F = \sqrt {\sum_{ij} X_{ij}^2} = \mathrm{tr}(X^\top X) = \sqrt{\sum s_i^2},$

s_{i}

$s_i$

X

$X$

S

$S$

X = U S V^{⊤}

$X = USV^\top$

PCA wird durch dieselbe Singularwertzerlegung gegeben, wenn die Daten zentriert sind. sind Hauptkomponenten, sind Hauptachsen, dh Eigenvektoren der Kovarianzmatrix, und die Rekonstruktion von mit nur den Hauptkomponenten, die den größten Singularwerten entsprechen, ist gegeben durch . $US$ $V$ $X$ $k$ $k$ $X_k = U_k S_k V_k^\top$

Das Eckart-Young-Theorem besagt, dass die Matrix ist, die die Norm des Rekonstruktionsfehlers minimiert unter allen Matrizen vom Rang . Dies gilt sowohl für die Frobenius-Norm als auch für den Operator -norm. Wie @cardinal in den Kommentaren ausführte, wurde es erstmals 1907 von Schmidt (von Gram-Schmidt berühmt) für den Fall Frobenius bewiesen. Es wurde später von Eckart und Young im Jahr 1936 wiederentdeckt und ist heute meist mit ihren Namen verbunden. Mirsky verallgemeinerte den Satz 1958 auf alle Normen, die bei einheitlichen Transformationen unveränderlich sind, und dies schließt die Operator-2-Norm ein. $X_k$ $\|X-A\|$ $A$ $k$ $2$

Dieser Satz wird manchmal Eckart-Young-Mirsky-Satz genannt. Stewart (1993) nennt es Schmidt-Näherungssatz. Ich habe sogar das Schmidt-Eckart-Young-Mirsky-Theorem gesehen.

Eckart und Young, 1936, Die Annäherung einer Matrix an eine andere von niedrigerem Rang
Mirsky, 1958, Symmetrische Messfunktionen und einheitlich invariante Normen
Stewart, 1993, Zur Frühgeschichte der Singularwertzerlegung

Nachweis für den Betreiber -norm $2$

Sei von vollem Rang . Da Rang , hat sein Nullraum Dimensionen. Der Raum, der von den rechten Singularvektoren von entsprechend den größten Singularwerten überspannt wird , hat Dimensionen. Diese beiden Räume müssen sich also kreuzen. Sei ein Einheitsvektor von der Schnittmenge. Dann erhalten wir: QED. $X$ $n$ $A$ $k$ $n-k$ $k+1$ $X$ $k+1$ $w$

‖ X - EIN ‖_{2}^{2} \geq ‖ (X - EIN) w ‖_{2}^{2} = ‖ X w ‖_{2}^{2} = \sum_{ich = 1}^{k + 1} s_{ich}^{2} (v_{ich}^{⊤} w)^{2} \geq s_{k + 1}^{2} = ‖ X - X_{k} ‖_{2}^{2},

$\|X-A\|^2_2 \ge \|(X-A)w\|^2_2 = \|Xw\|^2_2 = \sum_{i=1}^{k+1}s_i^2(v_i^\top w)^2 \ge s_{k+1}^2 = \|X-X_k\|_2^2,$

Beweis für die Frobenius-Norm

Wir wollen die Matrix vom Rang , die . Wir können Faktorisierung , wo hat orthonormal Spalten. Das Minimieren von für festes ist ein Regressionsproblem mit Lösung . Wenn wir es , sehen wir, dass wir jetzt minimieren müssen. wobei die Kovarianzmatrix von , dh $A$ $k$ $\|X-A\|^2_F$ $A=BW^\top$ $W$ $k$ $\|X-BW^\top\|^2$ $W$ $B=XW$

‖ X - X W W^{⊤} ‖^{2} = ‖ X ‖^{2} - ‖ X W W^{⊤} ‖^{2} = c O n s t - t r (W W^{⊤} X^{⊤} X W W^{⊤}) = c O n s t - c O n s t \cdot t r (W^{⊤} Σ W),

$\|X-XWW^\top\|^2=\|X\|^2-\|XWW^\top\|^2=\mathrm{const}-\mathrm{tr}(WW^\top X^\top XWW^\top)\\=\mathrm{const}-\mathrm{const}\cdot\mathrm{tr}(W^\top\Sigma W),$

Σ

$\Sigma$

X

$X$

Σ = X^{⊤} X / (n - 1)

$\Sigma=X^\top X/(n-1)$ . Dies bedeutet, dass der Rekonstruktionsfehler minimiert wird, indem als Spalten von einige Orthonormalvektoren genommen werden, die die Gesamtvarianz der Projektion maximieren.

W

$W$

k

$k$

Es ist bekannt, dass dies die ersten Eigenvektoren der Kovarianzmatrix sind. In der Tat, wenn , dann ist . Wenn wir schreiben, das auch orthonormale Spalten hat, erhalten wir wobei das Maximum erreicht wird, wenn . Der Satz folgt dann sofort. $k$ $X=USV^\top$ $\Sigma=VS^2V^\top/(n-1)=V\Lambda V^\top$ $R=V^\top W$

t r (W^{⊤} Σ W) = t r (R^{⊤} Λ R) = \sum_{ich} λ_{ich} \sum_{j} R_{ich j}^{2} \leq \sum_{ich = 1}^{k} λ_{k},

$\mathrm{tr}(W^\top\Sigma W)=\mathrm{tr}(R^\top\Lambda R)=\sum_i \lambda_i \sum_j R_{ij}^2 \le \sum_{i=1}^k \lambda_k,$

W = V_{k}

$W=V_k$

Siehe die folgenden drei verwandten Themen:

Früherer Versuch eines Beweises für die Frobenius-Norm

Diesen Beweis habe ich irgendwo online gefunden, aber er ist falsch (enthält eine Lücke), wie von @cardinal in den Kommentaren erklärt.

Die Frobenius-Norm ist bei einheitlichen Transformationen unveränderlich, da sie die singulären Werte nicht verändern. Wir erhalten also: wobei . Fortsetzung:Dies wird minimiert, wenn alle nicht diagonalen Elemente von Null sind und alle diagonalen Terme die größten Singularwerte [Lücke hier: dies ist nicht offensichtlich] auslöschen , dh und damit .

‖ X - EIN ‖_{F} = ‖ U S V^{⊤} - EIN ‖ = ‖ S - U^{⊤} EIN V ‖ = ‖ S - B ‖,

$\|X-A\|_F=\|USV^\top - A\| = \|S - U^\top A V\| = \|S-B\|,$

B = U^{⊤} A V

$B=U^\top A V$

‖ X - EIN ‖_{F} = \sum_{ich j} (S_{ich j} - B_{ich j})^{2} = \sum_{ich} (s_{ich} - B_{ich ich})^{2} + \sum_{ich \neq j} B_{ich j}^{2} .

$\|X-A\|_F = \sum_{ij}(S_{ij}-B_{ij})^2 = \sum_i (s_i-B_{ii})^2 + \sum_{i\ne j}B_{ij}^2.$

B

$B$

k

$k$

k

$k$

s_{i}

$s_i$

B_{o p t i m a l} = S_{k}

$B_\mathrm{optimal}=S_k$

A_{o p t i m a l} = U_{k} S_{k} V_{k}^{⊤}

$A_\mathrm{optimal} = U_k S_k V_k^\top$

— Amöbe sagt Reinstate Monica
quelle

Der Beweis im Fall der Frobeniius-Norm ist nicht korrekt (oder zumindest nicht vollständig), da das Argument hier nicht die Möglichkeit ausschließt, dass eine Matrix des gleichen Ranges einige der anderen diagonalen Terme auslöschen könnte, während sie "kleine" Abweichungen aufweist. Diagonalen. Um die Lücke deutlicher zu sehen, ist zu beachten, dass das Konstanthalten der Diagonalen und das "Nullsetzen" der Off-Diagonalen häufig den Rang der fraglichen Matrix erhöhen kann !

— Kardinal

Beachten Sie auch, dass die SVD Beltrami (zumindest in einem ganz allgemeinen, wenn auch besonderen Fall) und Jordanien bereits 1874 bekannt war.

— Kardinal

@ Kardinal: Hmmmm, ich bin mir nicht sicher, ob ich die Lücke sehe. Wenn einige andere diagonale Terme in anstelle von größten Termini aufhebt und stattdessen einige Terme ungleich Null außerhalb der Diagonale hat, dann sind beide Summen und , werden zunehmen. Es erhöht also nur den Rekonstruktionsfehler. Nein? Trotzdem habe ich versucht, einen anderen Beweis für die Frobenius-Norm in der Literatur zu finden, und habe gelesen, dass es sich irgendwie leicht aus dem Operator-Norm-Fall ergeben sollte. Aber bis jetzt sehe ich nicht, wie es folgen soll ...

B

$B$

S

$S$

k

$k$

\sum_{i} (s_{i} - B_{i i})^{2}

$\sum_{i}(s_i-B_{ii})^2$

\sum_{i \neq j} B_{i j}^{2}

$\sum_{i\ne j}B_{ij}^2$

— Amöbe sagt Reinstate Monica

Ich tun wie GW Stewart (1993), auf der Frühgeschichte der Einzelwertzerlegung, SIAM Bewertung , vol. 35, nein. 4, 551-566, und angesichts Ihres zuvor nachgewiesenen Interesses an historischen Angelegenheiten denke ich, dass Sie dies auch tun werden. Leider glaube ich, dass Stewart die Eleganz von Schmidts Beweis von 1907 ungewollt übertrieben ablehnt. Darin verbirgt sich eine Regressionsinterpretation, die Stewart übersieht und die wirklich sehr hübsch ist. Es gibt einen weiteren Beweis, der dem anfänglichen Diagonalisierungsansatz folgt, der jedoch zusätzliche Arbeit erfordert, um die Lücke zu füllen. (Fortsetzung)

— Kardinal

@ cardinal: Ja, du hast recht, jetzt sehe ich auch die Lücke. Vielen Dank für die Stewart-Zeitung, die eine sehr interessante Lektüre war. Ich sehe, dass Stewart die Beweise von Schmidt und Weyl präsentiert, aber beide sehen komplizierter aus als das, was ich hier gerne kopieren würde (und bis jetzt hatte ich nicht die Zeit, sie sorgfältig zu studieren). Ich bin überrascht: Ich habe erwartet, dass dies ein sehr einfaches Ergebnis ist, aber es scheint weniger trivial zu sein, als ich dachte. Insbesondere hätte ich nicht erwartet, dass der Fall Frobenius so viel komplizierter ist als der der Betreibernorm. Ich werde den Beitrag jetzt bearbeiten. Frohes neues Jahr!

— Amöbe sagt Reinstate Monica

Welche Norm des Rekonstruktionsfehlers wird durch die mit PCA erhaltene niedrigrangige Approximationsmatrix minimiert?

Einzelwortantwort: Beide.

Nachweis für den Betreiber -norm222

Beweis für die Frobenius-Norm

Früherer Versuch eines Beweises für die Frobenius-Norm

Nachweis für den Betreiber -norm $2$