Wie erklärt die Faktoranalyse die Kovarianz, während die PCA die Varianz erklärt?

Hier ist ein Zitat aus Bishops Buch "Mustererkennung und maschinelles Lernen", Abschnitt 12.2.4 "Faktorenanalyse":

Gemäß dem markierten Teil, Faktoranalyse erfasst die Kovarianz zwischen den Variablen in der Matrix $W$ . Ich frage mich , WIE ?

So verstehe ich es. Angenommen, $x$ ist die beobachtete $p$ dimensionale Variable, $W$ ist die Faktorladematrix und $z$ ist der Faktorbewertungsvektor. Dann haben wir

$$x=\mu+Wz+\epsilon,$$ das heißt $$\begin{align*} \begin{pmatrix} x_1\\ \vdots\\ x_p \end{pmatrix} = \begin{pmatrix} \mu_1\\ \vdots\\ \mu_p \end{pmatrix} + \begin{pmatrix} \vert & & \vert\\ w_1 & \ldots & w_m\\ \vert & & \vert \end{pmatrix} \begin{pmatrix} z_1\\ \vdots\\ z_m \end{pmatrix} +\epsilon, \end{align*}$$ und jede Spalte in$W$ist ein Faktor Belastungsvektor $$w_i=\begin{pmatrix}w_{i1}\\ \vdots\\ w_{ip}\end{pmatrix}.$$ Hier wie ich schrieb,$W$hat$m$Spalten etwas bedeutenes gibt$m$Faktoren in Betracht.

Nun, hier ist der Punkt, gemäß dem hervorgehobenen Teil, ich denke, die Belastungen in jeder Spalte, $w_i$ die Kovarianz in den beobachteten Daten erkläre, nicht wahr?

Betrachten wir zum Beispiel den ersten Ladevektor für 1 ≤ i , j , k ≤ p , wenn w 1 i = 10 , w 1 j = 11 und w 1 k = 0,1 , dann würde ich sagen x i und x j sind stark korreliert, wohingegen x k nicht mit ihnen korreliert zu sein scheint , habe ich recht?$w_1$$1\le i,j,k\le p$$w_{1i}=10$$w_{1j}=11$$w_{1k}=0.1$$x_i$$x_j$$x_k$

Und wenn so die Faktorenanalyse die Kovarianz zwischen beobachteten Merkmalen erklärt, würde ich sagen, dass PCA auch die Kovarianz erklärt, oder?

Die Unterscheidung zwischen Hauptkomponentenanalyse und Faktoranalyse wird in zahlreichen Lehrbüchern und Artikeln zu multivariaten Techniken erörtert. Möglicherweise finden Sie auf dieser Website auch den vollständigen und einen neueren Thread sowie ungerade Antworten.

Ich werde es nicht detailliert machen. Ich habe bereits eine kurze und eine längere Antwort gegeben und möchte sie jetzt mit ein paar Bildern verdeutlichen.

Grafische Darstellung

Das Bild unten erklärt PCA . (Dies wurde von hier ausgeliehen, wo PCA mit linearer Regression und kanonischen Korrelationen verglichen wird. Das Bild ist die Vektordarstellung von Variablen im Subjektraum. Um zu verstehen, was es ist, sollten Sie den zweiten Absatz dort lesen.)

PCA - Konfiguration auf diesem Bild wurde beschrieben dort . Ich werde die wichtigsten Dinge wiederholen. Die Hauptkomponenten $P_1$ und $P_2$ liegen in demselben Raum, der von den Variablen $X_1$ und $X_2$ , "Ebene X", aufgespannt wird. Die quadratische Länge jedes der vier Vektoren ist seine Varianz. Die Kovarianz zwischen $X_1$ und $X_2$ ist $cov_{12}= |X_1||X_2|r$ , wo $r$ entspricht dem Cosinus des Winkels zwischen ihren Vektoren.

$a$

$P_1$$P_2$$a_{11}^2+a_{21}^2= |P_1|^2$$P_1$

---

$X_1$$X_2$

$F$$P_1$

$P_1$

$F$

$P_1$$F$

$a$$a_{1}^2+a_{2}^2= |F|^2$$F$

$F$$F$$X_1$$F$$X_2$$X_1$$F$$U_1$$X_2$$F$$U_2$$U_1$$U_2$$F$$U$$U_1$$X_1$$U_2$$X_2$$X_1$$X_2$$F$$X_1$$X_2$$cov_{12}>0$$cov_{12}$$a$

$u^2$ $a^2$$F$-dimensional, wobei Kommunalitäten die Projektionen von Variablen auf den Raum und Ladungen die Projektionen von Variablen sowie die Projektionen dieser Projektionen auf die Faktoren sind, die den Raum überspannen. Die in der Faktorenanalyse erläuterte Varianz ist die Varianz innerhalb des Raums der gemeinsamen Faktoren, die sich von dem Raum der Variablen unterscheidet, in dem Komponenten die Varianz erklären. Der Raum der Variablen befindet sich im Bauch des kombinierten Raums: m gemeinsame + p eindeutige Faktoren.

$X_1$$X_2$$X_3$$F_1$$F_2$$X_1$$C_1$$U_1$$X_1$$X_1$$X_2$$X_3$$^1$

$cov_{12} \approx a_1a_2$individuelle Kovarianzen mittels Ladungen. Im PCA-Modell ist dies nicht der Fall, da PCA nicht zerlegte, gemischte kollineare + orthogonale native Varianz erklärt. Sowohl starke Komponenten, die Sie behalten, als auch nachfolgende, die Sie fallen lassen, sind Fusionen von (A) und (B) Teilen. daher kann PCA durch seine Beladung nur blind und grob Kovarianzen abhören.

---

Kontrastliste PCA vs FA

• PCA: arbeitet im Raum der Variablen. FA: Durchsucht den Raum der Variablen.
• PCA: Nimmt die Variabilität so an, wie sie ist. FA: Segmentiert die Variabilität in gemeinsame und eindeutige Teile.
• PCA: erklärt die nicht segmentierte Varianz, dh die Spur der Kovarianzmatrix. FA: erklärt nur die allgemeine Varianz, erklärt daher (stellt durch Laden wieder her) Korrelationen / Kovarianzen, nicht diagonale Elemente der Matrix. (PCA erklärt off-diagonale Elemente zu - aber nebenbei, offhand Weise - einfach , weil Abweichungen in Form von Kovarianzen gemeinsam genutzt werden.)
• PCA: Komponenten sind theoretisch lineare Funktionen von Variablen, Variablen sind theoretisch lineare Funktionen von Komponenten. FA: Variablen sind nur theoretisch lineare Funktionen von Faktoren.
• PCA: empirische Zusammenfassungsmethode; es behält m Komponenten. FA: theoretische Modellierungsmethode ; es passt eine feste Anzahl m Faktoren an die Daten an; FA kann getestet werden (Confirmatory FA).
• PCA: ist das einfachste metrische MDS , das darauf abzielt, die Dimensionalität zu reduzieren und gleichzeitig die Abstände zwischen Datenpunkten so weit wie möglich zu erhalten. FA: Faktoren sind wesentliche latente Merkmale hinter Variablen, die sie korrelieren lassen. Die Analyse zielt darauf ab, Daten nur auf diese Essenzen zu reduzieren.
• PCA: Rotation / Interpretation von Komponenten - manchmal (PCA ist als Latent-Traits-Modell nicht realistisch genug). FA: Rotation / Interpretation von Faktoren - routinemäßig.
• PCA: Nur Datenreduktionsmethode. FA: auch eine Methode, um Cluster kohärenter Variablen zu finden (weil Variablen nicht über einen Faktor hinaus korrelieren können).
• PCA: Ladungen und Scores sind unabhängig von der Anzahl m der "extrahierten" Komponenten. FA: Ladungen und Punktzahlen hängen von der Anzahl m der "extrahierten" Faktoren ab.
• PCA: Komponentenbewertungen sind genaue Komponentenwerte. FA: Faktorwerte sind Näherungswerte für wahre Faktorwerte, und es gibt verschiedene Berechnungsmethoden . Faktor-Scores liegen im Raum der Variablen (wie Komponenten), während wahre Faktoren (wie sie durch Faktor-Ladungen verkörpert werden) dies nicht tun.
• PCA: normalerweise keine Annahmen. FA: Annahme schwacher Teilkorrelationen; manchmal multivariate Normalitätsannahme; Einige Datensätze können für die Analyse "schlecht" sein, sofern sie nicht transformiert sind.
• PCA: nicht-iterativer Algorithmus; immer erfolgreich. FA: iterativer Algorithmus (typisch); manchmal Nichtkonvergenzproblem; Singularität kann ein Problem sein.

---

$^1$ $X_2$$X_3$$U_1$$X_1$$X_1$$X_2$$X_3$$U_1$$X_1$$X_2$$U$$U$

Ähnlich wie bei der Regression sind die Koeffizienten auf den Prädiktoren die Koordinaten sowohl der abhängigen Variablen als auch der Prädiktion ( siehe Bild unter "Multiple Regression" und auch hier ) in FABelastungen sind die Koordinaten der Faktoren, sowohl der beobachteten Variablen als auch ihrer latenten Teile - der Kommunalitäten. Und genau wie bei der Regression diese Tatsache nicht dazu geführt hat, dass die Abhängigen und die Prädiktoren Unterräume voneinander sind. Ein Faktor ist einer Variablen in einem ganz ähnlichen Sinne "fremd", wie ein Prädiktor einer abhängigen Antwort "fremd" ist. In PCA ist es jedoch anders: Hauptkomponenten werden aus den beobachteten Variablen abgeleitet und auf ihren Raum beschränkt.

Also noch einmal zu wiederholen: m gemeinsame Faktoren von FA sind kein Unterraum der p Eingangsvariablen. Im Gegenteil: Die Variablen bilden einen Unterraum im Vereinigungshyperspace m + p ( m gemeinsame Faktoren + p eindeutige Faktoren). Wenn aus dieser Perspektive gesehen (dh mit den einzigartigen Faktoren zu angezogen) wird deutlich , dass klassischer FA kein Dimensionalität ist Schrumpfung Technik, wie klassische PCA, sondern ist eine Dimensionalität Expansionstechnik. Wir konzentrieren uns jedoch nur auf einen kleinen ( m- dimensionalen gemeinsamen) Teil dieses Aufblähens, da dieser Teil nur die Zusammenhänge erklärt.

"Erklärung der Kovarianz" vs. Erklärung der Varianz

Bischof bedeutet eigentlich eine sehr einfache Sache. Nach dem Faktoranalysemodell (Gl. 12.64) ist die Kovarianzmatrix von wird sein (Gleichung 12.65)Dies ist im Wesentlichen das, was die Faktorenanalyse tut : Sie findet eine Matrix von Ladungen und eine diagonale Matrix von Eindeutigkeiten, so dass die tatsächlich beobachtete Kovarianzmatrix so gut wie möglich durch : approximiert wirdBeachten Sie, dass diagonale Elemente von

$$p(\mathbf x|\mathbf z) = \mathcal N(\mathbf x | \mathbf W \mathbf z + \boldsymbol \mu, \boldsymbol \Psi)$$ $\mathbf x$ $$\mathbf C = \mathbf W \mathbf W^\top + \boldsymbol \Psi.$$ $\boldsymbol \Sigma$$\mathbf C$ $$\boldsymbol \Sigma \approx \mathbf W \mathbf W^\top + \boldsymbol \Psi.$$ $\mathbf C$ ist genau gleich den diagonalen Elementen von da wir die diagonale Matrix immer so wählen können, dass der Rekonstruktionsfehler auf der Diagonale Null ist. Die eigentliche Herausforderung besteht dann darin, Ladungen zu finden , die sich gut dem nicht diagonalen Teil von annähern .$\boldsymbol \Sigma$$\boldsymbol \Psi$$\mathbf W$$\boldsymbol \Sigma$

Der nicht diagonale Teil von besteht aus Kovarianzen zwischen Variablen; daher die Behauptung von Bischof, dass Faktorladungen die Kovarianzen einfangen. Das wichtige Bit ist hierbei, dass Faktorladungen nicht kümmern gar über einzelne Abweichungen (diagonal von ).$\boldsymbol \Sigma$$\boldsymbol \Sigma$

Im Gegensatz dazu sind PCA-Ladungen Eigenvektoren der Kovarianzmatrix die durch Quadratwurzeln ihrer Eigenwerte vergrößert werden. Wenn nur Hauptkomponenten ausgewählt werden, dann was bedeutet, dass PCA-Ladungen versuchen, die gesamte Kovarianzmatrix zu reproduzieren (und nicht nur sein nicht diagonaler Teil als FA). Dies ist der Hauptunterschied zwischen PCA und FA.$\widetilde {\mathbf W}$$\boldsymbol \Sigma$$m<k$

$$\boldsymbol \Sigma \approx \widetilde{\mathbf W} \widetilde{\mathbf W}^\top,$$

---

Weitere Kommentare

Ich mag die Zeichnungen in @ ttnphns 'Antwort (+1), aber ich möchte betonen, dass sie sich mit einer ganz besonderen Situation zweier Variablen befassen. Wenn nur zwei Variablen in Betracht gezogen werden, ist die Kovarianzmatrix , hat nur ein Element außerhalb der Diagonale und daher ist immer ein Faktor ausreichend, um sie zu 100% zu reproduzieren (während PCA zwei Komponenten benötigt). Wenn es jedoch viele Variablen gibt (z. B. ein Dutzend oder mehr), können weder PCA noch FA mit einer geringen Anzahl von Komponenten die Kovarianzmatrix vollständig reproduzieren. Darüber hinaus werden sie in der Regel (wenn auch nicht unbedingt!) ähnliche Ergebnisse liefern. Siehe meine Antwort hier für einige Simulationen, die diese Behauptung stützen, und für weitere Erklärungen:$2 \times 2$

• Gibt es einen guten Grund, PCA anstelle von EFA zu verwenden? Kann PCA auch ein Ersatz für die Faktoranalyse sein?

Obwohl die Zeichnungen von @ ttnphns den Eindruck erwecken können, dass PCA und FA sehr unterschiedlich sind, bin ich der Meinung, dass dies nicht der Fall ist, außer bei sehr wenigen Variablen oder in einigen anderen speziellen Situationen.

Siehe auch:

• Unter welchen Bedingungen liefern PCA und FA ähnliche Ergebnisse?
• Was maximieren die ersten Faktoren aus der Faktoranalyse?$k$

Endlich:

Betrachten wir zum Beispiel den ersten für , wenn , und ist Ich würde sagen, und sind stark korreliert, während nicht mit ihnen korreliert zu sein scheint. Habe ich recht? 1 ≤ i , j , k ≤ p w 1 i = 10 w 1 j = 11 w 1 k = 0,1 x i x j x $w_1$$1\le i,j,k\le p$$w_{1i}=10$$w_{1j}=11$$w_{1k}=0.1$$x_i$$x_j$$x_k$

Dies ist nicht unbedingt richtig. Ja, in diesem Beispiel sind und wahrscheinlich korreliert, aber Sie vergessen andere Faktoren. Vielleicht hat der des zweiten Faktors große Werte für und ; Dies würde bedeuten, dass sie wahrscheinlich auch gut korreliert sind. Sie müssen alle Faktoren berücksichtigen, um solche Schlussfolgerungen ziehen zu können.x j w 2 x i x $x_i$$x_j$$w_2$$x_i$$x_k$