Hauptkomponentenanalyse „rückwärts“: Wie viel Varianz der Daten erklärt sich durch eine gegebene Linearkombination der Variablen?

Ich habe eine Hauptkomponentenanalyse von sechs Variablen , , , , und . Wenn ich das richtig verstehe, sagt mir der nicht gedrehte PC1, welche lineare Kombination dieser Variablen die größte Abweichung in den Daten beschreibt / erklärt, und der PC2 sagt mir, welche lineare Kombination dieser Variablen die nächstgrößere Abweichung in den Daten beschreibt und so weiter. $A$ $B$ $C$ $D$ $E$ $F$

Ich bin nur neugierig - gibt es eine Möglichkeit, dies "rückwärts" zu tun? Nehmen wir an, ich wähle eine Linearkombination dieser Variablen - z. B. . Könnte ich herausfinden, wie stark die beschriebenen Daten variieren ? $A+2B+5C$

— N26
quelle

Streng genommen ist PC2 die zu PC1 orthogonale Linearkombination , die die nächsthöhere Varianz in den Daten beschreibt.

— Henry

Versuchen Sie, zu schätzen ?

V a r (A + 2 B + 5 C)

$Var(A+2B+5C)$

— VQV

Alle schönen Antworten (drei + 1s). Ich bin gespannt auf die Meinung der Leute, ob das formulierte Problem über latente Variablenansätze (SEM / LVM) lösbar ist , wenn wir eine oder mehrere latente Variablen als "lineare Kombination der Variablen" betrachten.

— Aleksandr Blekh

@ Aleksandr, meine Antwort ist eigentlich direkt im Widerspruch zu den anderen beiden. Ich habe meine Antwort bearbeitet, um die Meinungsverschiedenheit zu klären (und plane, sie weiter zu bearbeiten, um die Mathematik zu formulieren). Stellen Sie sich einen Datensatz mit zwei standardisierten identischen Variablen . Wie viel Varianz beschreibt ? Zwei andere Lösungen ergeben . Ich behaupte, dass die richtige Antwort .

X = Y

$X=Y$

X

$X$

50 %

$50\%$

100 %

$100\%$

— Amöbe sagt Reinstate Monica

@amoeba: Obwohl ich immer noch Schwierigkeiten habe, das Material vollständig zu verstehen, verstehe ich, dass Ihre Antwort anders ist. Als ich "all nice answers" sagte, implizierte ich, dass ich die Ebene der Antworten an sich mag , nicht ihre Richtigkeit . Ich finde, dass es einen erzieherischen Wert für Leute wie mich hat, die in einem unwegsamen Land, genannt Statistik , auf der Suche nach Selbstbildung sind :-). Hoffe es macht Sinn.

— Aleksandr Blekh

Antworten:

Wenn wir mit der Prämisse beginnen, dass alle Variablen zentriert wurden (Standard in PCA), dann ist die Gesamtvarianz in den Daten nur die Summe der Quadrate:

T = \sum_{i} (A_{i}^{2} + B_{i}^{2} + C_{i}^{2} + D_{i}^{2} + E_{i}^{2} + F_{i}^{2})

$T=\sum_{i}(A_{i}^{2}+B_{i}^{2}+C_{i}^{2}+D_{i}^{2}+E_{i}^{2}+F_{i}^{2})$

Dies entspricht der Kurve der Kovarianzmatrix der Variablen, die der Summe der Eigenwerte der Kovarianzmatrix entspricht. Dies ist die gleiche Größe, von der PCA als "Erklärung der Daten" spricht - dh Sie möchten, dass Ihre PCs den größten Anteil der diagonalen Elemente der Kovarianzmatrix erklären. Wenn wir dies nun zu einer objektiven Funktion für eine Reihe von vorhergesagten Werten machen, wie folgt:

S = \sum_{i} ({[A_{i} - {\hat{A}}_{i}]}^{2} + \dots + {[F_{i} - {\hat{F}}_{i}]}^{2})

$S=\sum_{i}\left(\left[A_{i}-\hat{A}_{i}\right]^{2}+\dots+\left[F_{i}-\hat{F}_{i}\right]^{2}\right)$

Dann minimiert die erste Hauptkomponente unter allen angepassten Werten des Rangs 1 . Es scheint also, als ob die geeignete Menge, nach der Sie Um Ihr Beispiel , müssen wir diese Gleichung in Rang 1-Vorhersagen umwandeln. Zuerst müssen Sie die Gewichte normalisieren, um die Summe der Quadrate 1 zu erhalten. Also ersetzen wir (Summe der Quadrate ) durch . Als nächstes "bewerten" wir jede Beobachtung nach den normalisierten Gewichten: $S$ $(\hat{A}_{i},\dots,\hat{F}_{i})$

P = 1 - \frac{S}{T}

$P=1-\frac{S}{T}$

A + 2 B + 5 C

$A+2B+5C$

(1, 2, 5, 0, 0, 0)

$(1,2,5,0,0,0)$

30

$30$

(\frac{1}{\sqrt{30}}, \frac{2}{\sqrt{30}}, \frac{5}{\sqrt{30}}, 0, 0, 0)

$\left(\frac{1}{\sqrt{30}},\frac{2}{\sqrt{30}},\frac{5}{\sqrt{30}},0,0,0\right)$

Z_{i} = \frac{1}{\sqrt{30}} A_{i} + \frac{2}{\sqrt{30}} B_{i} + \frac{5}{\sqrt{30}} C_{i}

$Z_{i}=\frac{1}{\sqrt{30}}A_{i}+\frac{2}{\sqrt{30}}B_{i}+\frac{5}{\sqrt{30}}C_{i}$

Dann multiplizieren wir die Punktzahlen mit dem Gewichtsvektor, um unsere Rang 1-Vorhersage zu erhalten.

(\begin{matrix} {\hat{A}}_{i} \\ {\hat{B}}_{i} \\ {\hat{C}}_{i} \\ {\hat{D}}_{i} \\ {\hat{E}}_{i} \\ {\hat{F}}_{i} \end{matrix}) = Z_{i} \times (\begin{matrix} \frac{1}{\sqrt{30}} \\ \frac{2}{\sqrt{30}} \\ \frac{5}{\sqrt{30}} \\ 0 \\ 0 \\ 0 \end{matrix})

$\begin{pmatrix} \hat{A}_{i} \\ \hat{B}_{i} \\ \hat{C}_{i} \\ \hat{D}_{i} \\ \hat{E}_{i} \\ \hat{F}_{i}\end{pmatrix} =Z_{i}\times\begin{pmatrix} \frac{1}{\sqrt{30}} \\ \frac{2}{\sqrt{30}} \\ \frac{5}{\sqrt{30}} \\ 0 \\ 0 \\ 0\end{pmatrix}$

Dann stecken wir diese Schätzungen in berechnen . Sie können dies auch in die Matrixnormennotation einfügen, was möglicherweise auf eine andere Verallgemeinerung hindeutet. Wenn wir als Matrix der beobachteten Werte der Variablen ( in Ihrem Fall ) und als entsprechende Vorhersagematrix festlegen . Wir können den Anteil der Varianz wie folgt definieren: $S$ $P$ $O$ $N\times q$ $q=6$ $E$

\frac{| | O | |_{2}^{2} - | | O - E | |_{2}^{2}}{| | O | |_{2}^{2}}

$\frac{||O||_{2}^{2}-||O-E||_{2}^{2}}{||O||_{2}^{2}}$

Dabei ist die Frobenius-Matrixnorm . Sie könnten dies also "verallgemeinern", um eine andere Art von Matrixnorm zu sein, und Sie erhalten ein Differenzmaß für "erklärte Variation", obwohl es nicht per se "Varianz" ist, es sei denn, es ist eine Summe von Quadraten. $||.||_{2}$

— Wahrscheinlichkeitslogik
quelle

Dies ist ein vernünftiger Ansatz, aber Sie können Ihren Ausdruck stark vereinfachen und zeigen, dass er der Summe der Quadrate von geteilt durch die Gesamtsumme der Quadrate . Ich denke auch, dass dies nicht der beste Weg ist, die Frage zu interpretieren. siehe meine antwort für einen alternativen ansatz, den ich für sinnvoller halte (siehe insbesondere meine beispielfigur dort).

Z_{i}

$Z_i$

T

$T$

— Amöbe sagt Reinstate Monica

Denken Sie so darüber nach. Stellen Sie sich einen Datensatz mit zwei standardisierten identischen Variablen . Wie viel Varianz beschreibt ? Ihre Rechnung ergibt . Ich behaupte, dass die richtige Antwort .

X = Y

$X=Y$

X

$X$

50 %

$50\%$

100 %

$100\%$

— Amöbe sagt Reinstate Monica

@amoeba - wenn dann ist der erste PC - dies ergibt Rang für (unter der Annahme von ). Dies gibt Rang Vorhersagen von und in ähnlicher Weise . Sie erhalten also und . Somit erhalten Sie 100%, wie Ihre Intuition nahelegt.

X = Y

$X=Y$

(\frac{1}{\sqrt{2}}, \frac{1}{\sqrt{2}})

$(\frac {1}{\sqrt {2}},\frac {1}{\sqrt {2}})$

1

$1$

z_{i} = \frac{x_{i} + y_{i}}{\sqrt{2}} = x_{i} \sqrt{2}

$z_i=\frac {x_i+y_i}{\sqrt {2}}=x_i\sqrt {2}$

x_{i} = y_{i}

$x_i=y_i$

1

$1$

{\hat{x}}_{i} = x_{i}

$\hat {x}_i=x_i$

{\hat{y}}_{i} = y_{i}

$\hat {y}_i=y_i$

O - E = 0

$O-E=0$

S = 0

$S =0$

— Wahrscheinlichkeitsrechnung

Hey, ja, klar, der 1. PC erklärt 100% Varianz, aber das habe ich nicht gemeint. Was ich damit gemeint habe ist, dass , aber die Frage ist, wie viel Varianz durch , dh durch Vektor, beschrieben wird? Was sagt deine Formel dann aus?

X = Y

$X=Y$

X

$X$

(1, 0)

$(1,0)$

— Amöbe sagt Reinstate Monica

@amoeba - das sagt 50%, aber beachten Sie, dass die Vektor sagt , dass der beste Rang Prädiktor für gegeben ist und (unter Berücksichtigung, dass unter Ihrer Wahl des Vektors). Dies ist keine optimale Vorhersage, weshalb Sie nicht 100% erhalten. In dieser Konfiguration müssen Sie sowohl als auch vorhersagen .

(1, 0)

$(1,0)$

1

$1$

(x_{i}, y_{i})

$(x_i, y_i)$

{\hat{x}}_{i} = x_{i}

$\hat {x}_i= x_i$

{\hat{y}}_{i} = 0

$\hat {y}_i=0$

z_{i} = x_{i}

$z_i=x_i$

X

$X$

Y

$Y$

— Wahrscheinlichkeitslogik

Angenommen, ich wähle eine Linearkombination dieser Variablen - z. B. Kann ich herausfinden, wie stark die beschriebenen Daten variieren ? $A+2B+5C$

Diese Frage kann auf zwei verschiedene Arten verstanden werden, was zu zwei verschiedenen Antworten führt.

Eine lineare Kombination entspricht einem Vektor, der in Ihrem Beispiel . Dieser Vektor definiert wiederum eine Achse im 6D-Raum der ursprünglichen Variablen. Was Sie fragen, ist, wie viel Varianz beschreibt die Projektion auf dieser Achse? Die Antwort erfolgt über den Begriff "Rekonstruktion" der Originaldaten aus dieser Projektion und die Messung des Rekonstruktionsfehlers (siehe Wikipedia über den Anteil der nicht erklärten Varianz ). Es hat sich herausgestellt, dass diese Rekonstruktion auf zwei verschiedene Arten durchgeführt werden kann, wobei zwei verschiedene Antworten erhalten werden. $[1, 2, 5, 0, 0, 0]$

Ansatz Nr. 1

Let sein , die zentrierter Datensatz ( Zeilen entsprechen Samples, Spalten entsprechen Variablen), sei seine Kovarianzmatrix und sei ein Einheitsvektor aus . Die Gesamtvarianz des Datensatzes ist die Summe aller Varianzen, dh die Spur der Kovarianzmatrix: . Die Frage ist: Welcher Anteil von macht $\newcommand{\S}{\boldsymbol \Sigma} \newcommand{\w}{\mathbf w} \newcommand{\v}{\mathbf v}\newcommand{\X}{\mathbf X} \X$ $n$ $d$ $\S$ $\w$ $\mathbb R^d$ $d$ $T = \mathrm{tr}(\S)$ $T$ $\w$ beschreiben? Die beiden von @todddeluca und @probabilityislogic gegebenen Antworten sind gleichbedeutend mit: berechne die Projektion , berechne ihre Varianz und dividiere durch : $\X \w$ $T$

R_{f ich r s t}^{2} = \frac{V ein r (X w)}{T} = \frac{w^{⊤} Σ w}{t r (Σ)} .

$R^2_\mathrm{first} = \frac{\mathrm{Var}(\X \w)}{T} = \frac{\w^\top \S \w}{\mathrm{tr}(\S)}.$

Dies ist möglicherweise nicht sofort offensichtlich, da beispielsweise @probabilityislogic vorschlägt, die Rekonstruktion und dann zu berechnen aber mit ein wenig Algebra kann gezeigt werden, dass dies ein äquivalenter Ausdruck ist. $\X \w \w^\top$

\frac{‖ X ‖^{2} - ‖ X - X w w^{⊤} ‖^{2}}{‖ X ‖^{2}},

$\frac{\|\X\|^2 - \|\X-\X \w \w^\top\|^2}{\|\X\|^2},$

Ansatz 2

Okay. Betrachten Sie nun folgendes Beispiel: ist ein Datensatz mit einer Kovarianzmatrix und ist einfach ein Vektor: $\X$ $d=2$

Σ = (\begin{matrix} 1 & 0,99 \\ 0,99 & 1 \end{matrix})

$\S = \left(\begin{array}{c}1&0.99\\0.99&1\end{array}\right)$

w = (\begin{matrix} 1 & 0 \end{matrix})^{⊤}

$\mathbf w = (\begin{array}{}1&0\end{array})^\top$

x

$x$

Varianz erklärt

Die Gesamtvarianz beträgt . Die Varianz der Projektion auf (in roten Punkten dargestellt) ist gleich . Entsprechend der obigen Logik ist die erklärte Varianz gleich . Und in gewissem Sinne ist es so: Rote Punkte ("Rekonstruktion") sind weit von den entsprechenden blauen Punkten entfernt, so dass ein Großteil der Varianz "verloren" geht. $T=2$ $\w$ $1$ $1/2$

Andererseits haben die beiden Variablen eine Korrelation von und sind daher nahezu identisch. zu sagen, dass einer von ihnen nur der Gesamtvarianz beschreibt, ist seltsam, weil jeder von ihnen "fast alle Informationen" über den zweiten enthält. Wir können es wie folgt formalisieren: Geben Sie Projektion , finden Sie eine bestmögliche Rekonstruktion wobei nicht unbedingt mit identisch ist , und berechnen Sie dann den Rekonstruktionsfehler, und schließen Sie ihn an Ausdruck für den Anteil der erklärten Varianz: wobei so gewählt ist, dass $0.99$ $50\%$ $\X\w$ $\X\w\v^\top$ $\v$ $\w$

R_{s e c Ö n d}^{2} = \frac{‖ X ‖^{2} - ‖ X - X w v^{⊤} ‖^{2}}{‖ X ‖^{2}},

$R^2_\mathrm{second}=\frac{\|\X\|^2 - \|\X-\X \w \v^\top\|^2}{\|\X\|^2},$

v

$\v$

‖ X - X w v^{⊤} ‖^{2}

$\|\X-\X \w \v^\top\|^2$ ist minimal (dh ist maximal). Dies ist genau äquivalent zu der Berechnung des multivariaten Regressions ursprünglichen Datensatz Vorhersage von den - dimensionalen Projektions .

R^{2}

$R^2$

R^{2}

$R^2$

X

$\X$

1

$1$

X w

$\X\w$

Es ist eine Frage der einfachen Algebra, eine Regressionslösung für zu verwenden, um herauszufinden, dass sich der gesamte Ausdruck zu vereinfacht.Im obigen Beispiel entspricht dies , was vernünftig erscheint. $\v$

R_{s e c Ö n d}^{2} = \frac{‖ Σ w ‖^{2}}{w^{⊤} Σ w \cdot t r (Σ)} .

$R^2_\mathrm{second}=\frac{\|\S \w\|^2}{\w^\top \S \w \cdot \mathrm{tr}(\S)}.$

0.9901

$0.9901$

Es ist zu beachten, dass wenn (und nur wenn) einer der Eigenvektoren von , dh eine der Hauptachsen, mit dem Eigenwert (so dass ), beide Ansätze zur Berechnung von fallen zusammen und reduzieren sich auf den bekannten PCA-Ausdruck $\w$ $\S$ $\lambda$ $\S \w = \lambda \w$ $R^2$

R_{P C EIN}^{2} = R_{f ich r s t}^{2} = R_{s e c Ö n d}^{2} = λ / t r (Σ) = λ / \sum λ_{ich} .

$R^2_\mathrm{PCA} = R^2_\mathrm{first} = R^2_\mathrm{second} = \lambda/\mathrm{tr}(\S) = \lambda/\sum \lambda_i.$

PS. Siehe meine Antwort hier für eine Anwendung der abgeleiteten Formel auf den Spezialfall, dass einer der Basisvektoren ist: Varianz der Daten, die durch eine einzelne Variable erklärt werden . $\w$

Blinddarm. Herleitung der Formel für $R^2_\mathrm{second}$

Es ist ein Regressionsproblem, die Rekonstruktion zu minimieren (mit als univariatem Prädiktor und als multivariater Antwort). Ihre Lösung ist gegeben durch $\v$ $\|\X-\X \w \v^\top\|^2$ $\X \w$ $\X$

v^{⊤} = {((X w)^{⊤} (X w))}^{- 1} (X w)^{⊤} X = (w^{⊤} Σ w)^{- 1} w^{⊤} Σ .

$\v^\top = \left((\X \w)^\top (\X \w)\right)^{-1}(\X \w)^\top \X = (\w^\top \S \w)^{-1} \w^\top \S.$

Als nächstes kann die Formel vereinfacht werden als aufgrund des Satzes von Pythagoras, weil die Hutmatrix in der Regression eine ist orthogonale Projektion (aber es ist auch einfach, direkt zu zeigen). $R^2$

R^{2} = \frac{‖ X ‖^{2} - ‖ X - X w v^{⊤} ‖^{2}}{‖ X ‖^{2}} = \frac{‖ X w v^{⊤} ‖^{2}}{‖ X ‖^{2}}

$R^2=\frac{\|\X\|^2 - \|\X-\X \w \v^\top\|^2}{\|\X\|^2} = \frac{\|\X \w \v^\top\|^2}{\|\X\|^2}$

Wenn wir nun die Gleichung für , erhalten wir für den Zähler: $\v$

‖ X w v^{⊤} ‖^{2} = t r (X w v^{⊤} (X w v^{⊤})^{⊤}) = t r (X w w^{⊤} Σ Σ w w^{⊤} X^{⊤}) / (w^{⊤} Σ w)^{2} = t r (w^{⊤} Σ Σ w) / (w^{⊤} Σ w) = ‖ Σ w ‖^{2} / (w^{⊤} Σ w) .

$\|\X \w \v^\top\|^2 = \mathrm{tr}\left(\X \w \v^\top (\X \w \v^\top)^\top\right) = \mathrm{tr}(\X\w\w^\top\S\S\w\w^\top\X^\top)/(\w^\top\S\w)^2=\mathrm{tr}(\w^\top\S\S\w)/(\w^\top\S\w) = \|\S\w\|^2 / (\w^\top\S\w).$

Der Nenner ist gleich was zu der oben angegebenen Formel führt. $\|\X\|^2 = \mathrm{tr}(\S)$

— Amöbe sagt Reinstate Monica
quelle

Ich denke, das ist eine Antwort auf eine andere Frage. Zum Beispiel ist es nicht der Fall, dass Sie Ihre Optimierung WRT dem ersten PC als eindeutige Antwort (in den Fällen , wo es eindeutig ist) geben. Die Tatsache, dass und beide 100% ergeben, wenn ist, ist Beweis genug. Ihre vorgeschlagene Methode scheint davon auszugehen, dass die "normalisierte" Zielfunktion für PCA die erklärte Varianz immer unterschätzt (Ihre ist keine normalisierte PCA-Zielfunktion, da sie sich durch die in PCA optimierte Menge normalisiert).

R^{2}

$R^2$

w

$w$

(1, 0)

$(1,0)$

\frac{1}{\sqrt{2}} (1, 1)

$\frac {1}{\sqrt {2}}(1,1)$

X = Y

$X=Y$

— Wahrscheinlichkeitslogik

Ich stimme zu, dass unsere Antworten auf unterschiedliche Fragen lauten, aber mir ist nicht klar, welches OP im Sinn hatte. Beachten Sie auch, dass meine Interpretation nicht sehr seltsam ist: Es handelt sich um einen Standard-Regressionsansatz: Wenn wir sagen, dass so und so viel Varianz in , berechnen wir den Rekonstruktionsfehler vonmit einem optimalen , nicht nur. Hier ist ein weiteres Argument: Wenn alle Variablen standardisiert sind, erklärt jede in Ihrem Ansatz Varianzbetrag. Dies ist nicht sehr informativ: Einige Variablen können viel aussagekräftiger sein als andere! Mein Ansatz spiegelt dies wider.

x

$x$

y

$y$

‖ y - x b ‖

$\|y-xb\|$

b

$b$

‖ y - x ‖

$\|y-x\|$

n

$n$

1 / n

$1/n$

— Amöbe sagt Reinstate Monica

@amoeba (+1) Tolle Antwort, es ist wirklich hilfreich! Würdest du eine Referenz kennen, die dieses Problem angeht? Vielen Dank!

— PierreE

@PierreE Danke. Nein, ich glaube nicht, dass ich eine Referenz dafür habe.

— Amöbe sagt Reinstate Monica

Die Gesamtvarianz in einem Vektordatensatz sei die Summe der quadratischen Fehler (SSE) zwischen den Vektoren im Datensatz und dem mittleren Vektor des Datensatzes wobei der mittlere Vektor des Datensatzes ist, der i-te Vektor im Datensatz ist und das Skalarprodukt zweier Vektoren ist . Anders ausgedrückt ist die Gesamtvarianz die SSE zwischen jedem und seinem vorhergesagten Wert , wenn wir . $T$

T = \sum_{ich} (x_{ich} - \bar{x}) \cdot (x_{ich} - \bar{x})

$T = \sum_{i} (x_i-\bar{x}) \cdot (x_i-\bar{x})$

\bar{x}

$\bar{x}$

x_{i}

$x_i$

\cdot

$\cdot$

x_{i}

$x_i$

f (x_{i})

$f(x_i)$

f (x_{i}) = \bar{x}

$f(x_i)=\bar{x}$

Nun sei der Prädiktor von , die Projektion des Vektors auf einen Einheitsvektor . $x_i$ $f(x_i)$ $x_i$ $c$

f_{c} (x_{ich}) = (c \cdot x_{ich}) c

$f_c(x_i) = (c \cdot x_i)c$

Dann wird die für einen gegebenen ist $SSE$ $c$

S S E_{c} = \sum_{ich} (x_{ich} - f_{c} (x_{ich})) \cdot (x_{ich} - f_{c} (x_{ich}))

$SSE_c = \sum_i (x_i - f_c(x_i)) \cdot (x_i - f_c(x_i))$

Ich denke, wenn Sie wählen, zu minimieren , dann ist die erste Hauptkomponente. $c$ $SSE_c$ $c$

Wenn Sie stattdessen wählen die normalisierte Version des Vektors zu sein , dann ist die Varianz in den Daten unter Verwendung beschrieben als Prädiktor. $c$ $(1, 2, 5, ...)$ $T-SSE_c$ $c$

— todddeluca
quelle

Dies ist ein vernünftiger Ansatz, aber ich denke, dass dies nicht der beste Weg ist, die Frage zu interpretieren. siehe meine antwort für einen alternativen ansatz, den ich für sinnvoller halte (siehe insbesondere meine beispielfigur dort).

— Amöbe sagt Reinstate Monica

X = Y

$X=Y$

X

$X$

50 %

$50\%$

100 %

$100\%$

— Amöbe sagt Reinstate Monica

Hauptkomponentenanalyse „rückwärts“: Wie viel Varianz der Daten erklärt sich durch eine gegebene Linearkombination der Variablen?

Ansatz Nr. 1

Ansatz 2

Blinddarm. Herleitung der Formel fürR2s e c o n dRsecÖnd2R^2_\mathrm{second}

Blinddarm. Herleitung der Formel für $R^2_\mathrm{second}$