Beziehung zwischen SVD und PCA. Wie verwende ich SVD, um PCA durchzuführen?

Die Hauptkomponentenanalyse (PCA) wird üblicherweise durch eine Eigenzerlegung der Kovarianzmatrix erklärt. Sie kann aber auch über die Singular Value Decomposition (SVD) der Datenmatrix . Wie funktioniert es? Welche Verbindung besteht zwischen diesen beiden Ansätzen? Wie ist die Beziehung zwischen SVD und PCA?$\mathbf X$

Oder mit anderen Worten, wie kann die SVD der Datenmatrix verwendet werden, um eine Dimensionsreduktion durchzuführen?

Die Datenmatrix sei groß, wobei die Anzahl der Abtastwerte und die Anzahl der Variablen ist. Nehmen wir an, es ist zentriert , dh die Spaltenmittel wurden abgezogen und sind jetzt gleich Null. n × p n $\mathbf X$$n \times p$$n$$p$

Dann ist die Kovarianzmatrix gegeben durch . Es ist eine symmetrische Matrix und kann daher diagonalisiert werden: wobei eine Matrix von Eigenvektoren ist (jede Spalte ist ein Eigenvektor) und ist eine Diagonalmatrix mit Eigenwerten in absteigender Reihenfolge auf der Diagonale. Die Eigenvektoren werden als Hauptachsen oder Hauptrichtungen der Daten bezeichnet. Projektionen der Daten auf den Hauptachsen werden als Hauptkomponenten bezeichnet , die auch als PC-Scores bezeichnet werdenC C = X ⊤ X / ( n - 1 ) C = V L V ⊤ , V L λ i j j X V i i X $p \times p$$\mathbf C$$\mathbf C = \mathbf X^\top \mathbf X/(n-1)$

$$\mathbf C = \mathbf V \mathbf L \mathbf V^\top,$$ $\mathbf V$$\mathbf L$$\lambda_i$; Diese können als neue, transformierte Variablen angesehen werden. Die te Hauptkomponente ist durch die te Spalte von . Die Koordinaten des ten Datenpunktes im neuen PC-Raum sind durch die te Zeile von .$j$$j$$\mathbf {XV}$$i$$i$$\mathbf{XV}$

Wenn wir nun eine Singularwertzerlegung von , erhalten wir eine Zerlegung von wobei eine Einheitsmatrix und die Diagonalmatrix von ist singuläre Werte . Von hier aus kann man leicht sehen, dass was bedeutet, dass rechte Singularvektoren Hauptrichtungen sind und dass Singularwerte mit den Eigenwerten der Kovarianzmatrix über . Hauptbestandteile sind gegeben durchX = U S V ⊤ , U S s i C = V S U ⊤ U S V ⊤ / ( n - 1 ) = V S$\mathbf X$

$$\mathbf X = \mathbf U \mathbf S \mathbf V^\top,$$ $\mathbf U$$\mathbf S$$s_i$ $$\mathbf C = \mathbf V \mathbf S \mathbf U^\top \mathbf U \mathbf S \mathbf V^\top /(n-1) = \mathbf V \frac{\mathbf S^2}{n-1}\mathbf V^\top,$$ $\mathbf V$$\lambda_i = s_i^2/(n-1)$$\mathbf X \mathbf V = \mathbf U \mathbf S \mathbf V^\top \mathbf V = \mathbf U \mathbf S$ .

Zusammenfassen:

1. Wenn , dann sind die Spalten von Hauptrichtungen / -achsen.$\mathbf X = \mathbf U \mathbf S \mathbf V^\top$$\mathbf V$
2. Spalten von sind Hauptbestandteile ("Scores").$\mathbf {US}$
3. Singularwerte werden über mit den Eigenwerten der Kovarianzmatrix in Beziehung gesetzt . Eigenwerte zeigen Abweichungen der jeweiligen PCs an.$\lambda_i = s_i^2/(n-1)$$\lambda_i$
4. Standardisierte Ergebnisse werden durch Spalten mit und Ladungen durch Spalten mit . Sehen Sie zB hier und hier, warum "Ladungen" nicht mit Hauptrichtungen verwechselt werden sollten.$\sqrt{n-1}\mathbf U$$\mathbf V \mathbf S/\sqrt{n-1}$
5. Das obige ist nur korrekt, wenn zentriert ist. $\mathbf X$Nur dann ist die Kovarianzmatrix gleich .$\mathbf X^\top \mathbf X/(n-1)$
6. Das Obige gilt nur für mit Stichproben in Zeilen und Variablen in Spalten. Befinden sich Variablen in Zeilen und Samples in Spalten, tauschen und Interpretationen aus.$\mathbf X$$\mathbf U$$\mathbf V$
7. Wenn man PCA auf einer Korrelationsmatrix (anstelle einer Kovarianzmatrix) durchführen möchte, sollten Spalten von nicht nur zentriert, sondern auch standardisiert, dh durch ihre Standardabweichungen dividiert werden.$\mathbf X$
8. Um die Dimensionalität der Daten von auf zu verringern , wählen Sie erste Spalten von und oberer linker Teil von . Ihr Produkt ist die erforderliche Matrix, die die ersten PCs enthält.$p$$k<p$$k$$\mathbf U$$k\times k$$\mathbf S$$\mathbf U_k \mathbf S_k$$n \times k$$k$
9. Weiteres Multiplizieren der ersten PCs mit den entsprechenden Hauptachsen ergibt Matrix mit dem ursprünglichen size ist aber von niedrigerem Rang (von Rang ). Diese Matrix liefert eine Rekonstruktion der Originaldaten von den ersten PCs. Es hat den geringstmöglichen Rekonstruktionsfehler, siehe meine Antwort hier .$k$$\mathbf V_k^\top$$\mathbf X_k = \mathbf U_k^\vphantom \top \mathbf S_k^\vphantom \top \mathbf V_k^\top$$n \times p$$k$$\mathbf X_k$$k$
10. Streng genommen ist von Größe und ist von Größe. Wenn jedoch dann sind die letzten Spalten von beliebig (und die entsprechenden Zeilen von sind konstant Null); man sollte daher eine SVD mit Economy-Größe (oder Thin- Größe ) verwenden, die der Größe zurückgibt und die nutzlosen Spalten löscht. Für großes die Matrix sonst unnötig groß. Gleiches gilt für eine gegenteilige Situation von$\mathbf U$$n\times n$$\mathbf V$$p \times p$$n>p$$n-p$$\mathbf U$$\mathbf S$$\mathbf U$$n\times p$$n\gg p$$\mathbf U$$n\ll p$.

---

Weiterführende Links

• Was ist die intuitive Beziehung zwischen SVD und PCA - ein sehr beliebter und sehr ähnlicher Thread zu math.SE.

• Warum PCA von Daten mittels SVD der Daten? - eine Diskussion über die Vorteile der Durchführung von PCA mittels SVD [kurze Antwort: numerische Stabilität].

• PCA - und Korrespondenzanalyse in ihrer Beziehung zu Biplot - PCA im Kontext einiger allgemeiner Techniken, die alle auf SVD basieren.

• Gibt es einen Vorteil von SVD gegenüber PCA? - eine Frage, in der gefragt wird, ob die Verwendung von SVD anstelle von PCA Vorteile bringt [kurze Antwort: schlecht gestellte Frage].

• Die Analyse von Hauptkomponenten, Eigenvektoren und Eigenwerten verstehen - meine Antwort mit einer nicht-technischen Erklärung der PCA. Um die Aufmerksamkeit auf sich zu ziehen, reproduziere ich hier eine Figur:

Ich habe ein Python & Numpy-Snippet geschrieben, das die Antwort von @ amoeba begleitet, und ich lasse es hier, falls es für jemanden nützlich ist. Die Kommentare stammen größtenteils aus der Antwort von @amoeba.

import numpy as np
from numpy import linalg as la
np.random.seed(42)


def flip_signs(A, B):
    """
    utility function for resolving the sign ambiguity in SVD
    http://stats.stackexchange.com/q/34396/115202
    """
    signs = np.sign(A) * np.sign(B)
    return A, B * signs


# Let the data matrix X be of n x p size,
# where n is the number of samples and p is the number of variables
n, p = 5, 3
X = np.random.rand(n, p)
# Let us assume that it is centered
X -= np.mean(X, axis=0)

# the p x p covariance matrix
C = np.cov(X, rowvar=False)
print "C = \n", C
# C is a symmetric matrix and so it can be diagonalized:
l, principal_axes = la.eig(C)
# sort results wrt. eigenvalues
idx = l.argsort()[::-1]
l, principal_axes = l[idx], principal_axes[:, idx]
# the eigenvalues in decreasing order
print "l = \n", l
# a matrix of eigenvectors (each column is an eigenvector)
print "V = \n", principal_axes
# projections of X on the principal axes are called principal components
principal_components = X.dot(principal_axes)
print "Y = \n", principal_components

# we now perform singular value decomposition of X
# "economy size" (or "thin") SVD
U, s, Vt = la.svd(X, full_matrices=False)
V = Vt.T
S = np.diag(s)

# 1) then columns of V are principal directions/axes.
assert np.allclose(*flip_signs(V, principal_axes))

# 2) columns of US are principal components
assert np.allclose(*flip_signs(U.dot(S), principal_components))

# 3) singular values are related to the eigenvalues of covariance matrix
assert np.allclose((s ** 2) / (n - 1), l)

# 8) dimensionality reduction
k = 2
PC_k = principal_components[:, 0:k]
US_k = U[:, 0:k].dot(S[0:k, 0:k])
assert np.allclose(*flip_signs(PC_k, US_k))

# 10) we used "economy size" (or "thin") SVD
assert U.shape == (n, p)
assert S.shape == (p, p)
assert V.shape == (p, p)

Lassen Sie mich mit PCA beginnen. Angenommen, Sie haben n Datenpunkte, die jeweils aus d Zahlen (oder Dimensionen) bestehen. Wenn Sie diese Daten zentrieren (subtrahieren Sie den mittleren Datenpunkt von jedem Datenvektor ), können Sie die Daten stapeln, um eine Matrix zu erstellen$\mu$$x_i$

$$X = \left( \begin{array}{ccccc} && x_1^T - \mu^T && \\ \hline && x_2^T - \mu^T && \\ \hline && \vdots && \\ \hline && x_n^T - \mu^T && \end{array} \right)\,.$$

Die Kovarianzmatrix

$$S = \frac{1}{n-1} \sum_{i=1}^n (x_i-\mu)(x_i-\mu)^T = \frac{1}{n-1} X^T X$$

misst, in welchem ​​Maße die verschiedenen Koordinaten, in denen Ihre Daten angegeben sind, voneinander abweichen. Daher ist es vielleicht nicht verwunderlich, dass PCA - mit dem die Variation Ihrer Daten erfasst werden soll - in Form der Kovarianzmatrix angegeben werden kann. Insbesondere stellt sich die Eigenwertzerlegung von als heraus$S$

$$S = V \Lambda V^T = \sum_{i = 1}^r \lambda_i v_i v_i^T \,,$$

wobei die te Hauptkomponente oder PC ist und der te Eigenwert von und auch gleich der Varianz der Daten entlang des ten PC ist. Diese Zersetzung kommt aus einem allgemeinen Satz in der linearen Algebra, und einige Arbeit nicht getan werden , haben die relatino zu PCA zu motivieren.$v_i$$i$$\lambda_i$$i$$S$$i$

SVD ist eine allgemeine Methode, um eine Matrix in Bezug auf ihren Spalten- und Zeilenraum zu verstehen. (Es ist eine Möglichkeit, eine Matrix in Bezug auf andere Matrizen mit einer intuitiven Beziehung zum Zeilen- und Spaltenraum neu zu schreiben.) Zum Beispiel für die Matrix Wir können die Richtungen und in der Domäne und im Bereich finden, so dass$A = \left( \begin{array}{cc}1&2\\0&1\end{array} \right)$$u_i$$v_i$

Sie können diese finden, indem Sie sich überlegen, wie als lineare Transformation eine Einheitskugel in ihrer Domäne in eine Ellipse verwandelt : Die der Ellipse richten sich nach dem und dem sind ihre Vorbilder.$A$$\mathbb S$$u_i$$v_i$

In jedem Fall lässt uns SVD für die obige Datenmatrix (setzen Sie einfach ) schreiben$X$$A = X$

$$X = \sum_{i=1}^r \sigma_i u_i v_j^T\,,$$

wobei und orthonormale Sätze von Vektoren sind. Ein Vergleich mit der Eigenwertzerlegung von zeigt, dass die "rechten Singularvektoren" gleich den PCs sind, die "rechten Singularvektoren" sind{ v i } S v $\{ u_i \}$$\{ v_i \}$$S$$v_i$

$$u_i = \frac{1}{\sqrt{(n-1)\lambda_i}} Xv_i\,,$$

und die "singulären Werte" beziehen sich auf die Datenmatrix über$\sigma_i$

$$\sigma_i^2 = (n-1) \lambda_i\,.$$

Es ist eine allgemeine Tatsache, dass die rechten Singularvektoren den Spaltenraum von überspannen . In diesem speziellen Fall eine skalierte Projektion der Daten auf die Richtung der ten Hauptkomponente. Die linken singulären Vektoren überspannen im Allgemeinen den Zeilenraum von , was uns einen Satz orthonormaler Vektoren gibt, die die Daten ähnlich wie bei PCs überspannen. x u i x i v i$u_i$$X$$u_i$$X$$i$$v_i$$X$

In diesem längeren Artikel gehe ich auf einige Details und Vorteile der Beziehung zwischen PCA und SVD ein .