PCA zur Korrelation oder Kovarianz: Ist eine PCA zur Korrelation jemals sinnvoll? [geschlossen]

Bei der Hauptkomponentenanalyse (PCA) kann man entweder die Kovarianzmatrix oder die Korrelationsmatrix wählen, um die Komponenten (aus ihren jeweiligen Eigenvektoren) zu finden. Diese liefern unterschiedliche Ergebnisse (PC-Ladungen und Scores), da die Eigenvektoren zwischen beiden Matrizen nicht gleich sind. Meines Wissens liegt dies daran, dass ein Rohdatenvektor und seine Standardisierung nicht über eine orthogonale Transformation in Beziehung gesetzt werden können. Mathematisch haben ähnliche Matrizen (dh durch orthogonale Transformation verwandt) die gleichen Eigenwerte, aber nicht notwendigerweise die gleichen Eigenvektoren.$X$$Z$

Dies wirft einige Schwierigkeiten in meinem Kopf auf:

1. Ist PCA tatsächlich sinnvoll, wenn Sie für denselben Startdatensatz zwei unterschiedliche Antworten erhalten können und beide versuchen, dasselbe zu erreichen (= Richtungen maximaler Varianz zu finden)?

2. Bei Verwendung des Korrelationsmatrix-Ansatzes wird jede Variable vor der Berechnung der PCs durch ihre eigene individuelle Standardabweichung standardisiert (skaliert). Wie ist es dann noch sinnvoll, die Richtungen der maximalen Varianz zu finden, wenn die Daten zuvor bereits unterschiedlich skaliert / komprimiert wurden? Ich weiß, dass die korrelationsbasierte PCA sehr praktisch ist (standardisierte Variablen sind dimensionslos, sodass ihre linearen Kombinationen hinzugefügt werden können; andere Vorteile basieren auch auf Pragmatismus), aber ist sie richtig?

Mir scheint, dass kovarianzbasierte PCA die einzig richtige ist (auch wenn sich die Varianzen der Variablen stark unterscheiden), und dass korrelationsbasierte PCA auch nicht verwendet werden sollten, wenn diese Version nicht verwendet werden kann.

Ich weiß, dass es diesen Thread gibt: PCA auf Korrelation oder Kovarianz? - aber es scheint sich nur darauf zu konzentrieren, eine pragmatische Lösung zu finden, die auch eine algebraisch korrekte sein kann oder nicht.

Ich hoffe, diese Antworten auf Ihre beiden Fragen werden Ihre Besorgnis beruhigen:

1. Eine Korrelationsmatrix ist eine Kovarianzmatrix der standardisierten (dh nicht nur zentrierten, sondern auch neu skalierten) Daten. das heißt, eine Kovarianzmatrix (als ob) eines anderen , anderen Datensatzes. So ist es natürlich und es sollte Sie nicht stören, dass die Ergebnisse unterschiedlich sind.
2. Ja, es ist sinnvoll, die Richtungen der maximalen Varianz mit standardisierten Daten zu finden - sie sind sozusagen die Richtungen der "Korrelation", nicht der "Kovarianz". Das heißt, nachdem die Auswirkungen ungleicher Varianzen - der ursprünglichen Variablen - auf die Form der multivariaten Datenwolke beseitigt wurden.

Nächster Text und Bilder hinzugefügt von @whuber (Ich danke ihm. Siehe auch meinen Kommentar unten)

Das folgende zweidimensionale Beispiel zeigt, warum es immer noch sinnvoll ist, die Hauptachsen standardisierter Daten zu lokalisieren (siehe Abbildung rechts). Beachten Sie, dass im rechten Diagramm die Wolke immer noch eine "Form" hat, obwohl die Abweichungen entlang der Koordinatenachsen jetzt genau gleich sind (auf 1,0). In ähnlicher Weise hat die standardisierte Punktwolke in höheren Dimensionen eine nicht kugelförmige Form, obwohl die Varianzen entlang aller Achsen genau gleich sind (1,0). Die Hauptachsen (mit ihren entsprechenden Eigenwerten) beschreiben diese Form. Eine andere Möglichkeit, dies zu verstehen, besteht darin, zu beachten, dass die gesamte Neuskalierung und Verschiebung, die beim Standardisieren der Variablen stattfindet, nur in den Richtungen der Koordinatenachsen und nicht in den Hauptrichtungen selbst erfolgt.

Das, was hier passiert, ist geometrisch so intuitiv und klar, dass es eine Strecke wäre, dies als "Black-Box-Operation" zu bezeichnen: Im Gegenteil, Standardisierung und PCA sind einige der grundlegendsten und routinemäßigsten Dinge, die wir mit Daten in der richtigen Reihenfolge tun um sie zu verstehen.

Fortsetzung von @ttnphns

Wann würde man es vorziehen, eine PCA (oder eine Faktoranalyse oder eine andere ähnliche Art der Analyse) für Korrelationen (dh für z-standardisierte Variablen) anstelle von Kovarianzen (dh für zentrierte Variablen) durchzuführen ?

1. Wenn die Variablen verschiedene Maßeinheiten sind. Das ist klar.
2. Wenn man will, dass die Analyse nur gerade und lineare Assoziationen widerspiegelt . Pearson r ist nicht nur die Kovarianz zwischen den nicht berechneten Variablen (Varianz = 1); es ist plötzlich das Maß für die Stärke der linearen Beziehung, während der übliche Kovarianzkoeffizient sowohl für die lineare als auch für die monotone Beziehung empfänglich ist.
3. Wenn man möchte, dass die Assoziationen die relative Abweichung (vom Mittelwert) und nicht die rohe Abweichung widerspiegeln . Die Korrelation basiert auf Verteilungen, deren Spreads, während die Kovarianz auf der ursprünglichen Messskala basiert. Wenn ich die psychopathologischen Profile von Patienten anhand von Faktoren analysieren würde, die von Psychiatern anhand eines klinischen Fragebogens, der aus Likert-artigen Elementen besteht, bewertet wurden, würde ich Kovarianzen vorziehen. Weil von den Profis nicht erwartet wird, dass sie die Ratingskala intrapsychisch verzerren. Wenn ich andererseits die Selbstporträts der Patienten anhand desselben Fragebogens analysieren würde, würde ich wahrscheinlich Korrelationen auswählen. Da von Laien erwartet wird, dass sie relative "andere Personen" sind, "die Mehrheit" "zulässige Abweichung" Lupe, die die Bewertungsskala für eine "schrumpft" oder "streckt".

Vom praktischen Standpunkt aus gesehen - hier möglicherweise unbeliebt -: Wenn Sie Daten in verschiedenen Maßstäben messen, sollten Sie eine Korrelation verwenden („UV-Skalierung“, wenn Sie Chemiker sind), aber wenn die Variablen im gleichen Maßstab sind und die Größe von Bedeutung ist (zB mit spektroskopischen Daten), dann ist Kovarianz (nur Zentrieren der Daten) sinnvoller. PCA ist eine skalierungsabhängige Methode, und auch die Protokolltransformation kann bei stark verzerrten Daten hilfreich sein.

Meiner bescheidenen Meinung nach, basierend auf 20 Jahren praktischer Anwendung der Chemometrie, müssen Sie ein wenig experimentieren und herausfinden, was für Ihre Art von Daten am besten funktioniert. Letztendlich müssen Sie in der Lage sein, Ihre Ergebnisse zu reproduzieren und die Vorhersehbarkeit Ihrer Schlussfolgerungen zu beweisen. Wie Sie dorthin gelangen, ist oft ein Fall von Versuch und Irrtum. Entscheidend ist jedoch, dass das, was Sie tun, dokumentiert und reproduzierbar ist.

$x_i$$s^2$$(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$$x_1+x_2$$s_1\not =s_2$grad. Es scheint wenig Sinn zu machen, die Varianz ihrer linearen Kombination zu maximieren. In diesem Fall bietet PCA eine Lösung für einen anderen Datensatz, wobei jede Variable unterschiedlich skaliert wird. Wenn Sie anschließend die Standardisierung aufheben (bei Verwendung von corr_PCA), ist dies möglicherweise in Ordnung und erforderlich. Wenn Sie jedoch die rohe corr_PCA-Lösung so wie sie ist nehmen und dort anhalten, erhalten Sie eine mathematische Lösung, die sich jedoch nicht auf die physikalischen Daten bezieht. Da eine spätere Entnormierung dann zumindest obligatorisch erscheint (dh das 'Entspannen' der Achsen um die inversen Standardabweichungen), könnte zunächst cov_PCA verwendet werden. Wenn Sie jetzt noch lesen, bin ich beeindruckt! Zum Schluss zitiere ich zunächst aus Jolliffes Buch, S. 22. 42, das ist der Teil, der mich betrifft:"Es darf jedoch nicht vergessen werden, dass Korrelationsmatrix-PCs, wenn sie in Bezug auf die ursprünglichen Variablen ausgedrückt werden, immer noch lineare Funktionen von x sind, die die Varianz in Bezug auf die standardisierten Variablen und nicht in Bezug auf die ursprünglichen Variablen maximieren." Wenn Sie der Meinung sind, dass ich dies oder seine Implikationen falsch interpretiere, ist dieser Auszug möglicherweise ein guter Schwerpunkt für die weitere Diskussion.