Sinnvolles Verständnis von Hauptkomponentenanalyse, Eigenvektoren und Eigenwerten

In der heutigen Mustererkennungsklasse sprach mein Professor über PCA, Eigenvektoren und Eigenwerte.

Ich habe die Mathematik verstanden. Wenn ich gebeten werde, Eigenwerte usw. zu finden, mache ich das wie eine Maschine richtig. Aber ich habe es nicht verstanden . Ich habe den Zweck nicht verstanden. Ich habe es nicht gespürt.

Ich glaube fest an das folgende Zitat:

Sie verstehen etwas nur dann wirklich, wenn Sie es Ihrer Großmutter erklären können. -- Albert Einstein

Nun, ich kann einem Laien oder einer Großmutter diese Konzepte nicht erklären.

1. Warum PCA, Eigenvektoren & Eigenwerte? Was war der Bedarf an diesen Konzepten?
2. Wie würden Sie diese einem Laien erklären?

Stellen Sie sich ein großes Familienessen vor, bei dem alle Sie nach PCA fragen. Zuerst erklärst du es deiner Urgroßmutter; dann zu dir Großmutter; dann zu deiner Mutter; dann zu deinem Ehepartner; Schließlich zu Ihrer Tochter (die Mathematikerin ist). Jedes Mal ist die nächste Person weniger ein Laie. So könnte das Gespräch verlaufen.

Urgroßmutter: Ich habe gehört, Sie studieren "Pee-See-Ay". Ich frage mich, was das ist ...

Sie: Ah, es ist nur eine Methode, um einige Daten zusammenzufassen. Schau, wir haben ein paar Weinflaschen hier auf dem Tisch. Wir können jeden Wein durch seine Farbe beschreiben, durch , wie stark es ist, durch , wie alt er ist, und so weiter (siehe diese sehr schöne Visualisierung von Wein Eigenschaften genommen von hier ). Wir können für jeden Wein in unserem Keller eine ganze Liste verschiedener Merkmale zusammenstellen. Viele von ihnen messen jedoch verwandte Eigenschaften und sind daher überflüssig. In diesem Fall sollten wir jeden Wein mit weniger Merkmalen zusammenfassen können! Das macht PCA.

Großmutter: Das ist interessant! Also prüft dieses PCA-Ding, welche Eigenschaften überflüssig sind und verwirft sie?

Sie: Ausgezeichnete Frage, Oma! Nein, PCA wählt einige Merkmale nicht aus und verwirft die anderen. Stattdessen werden einige neue Merkmale konstruiert , die unsere Weinliste gut zusammenfassen. Natürlich werden diese neuen Eigenschaften unter Verwendung der alten konstruiert; Zum Beispiel könnte ein neues Merkmal berechnet werden als Weinalter minus Weinsäuregehalt oder eine andere Kombination wie diese (wir nennen sie lineare Kombinationen ).

Tatsächlich findet PCA die bestmöglichen Eigenschaften, die die Liste der Weine so gut wie nur möglich zusammenfassen (unter allen denkbaren linearen Kombinationen). Deshalb ist es so nützlich.

Mutter: Hmmm, das hört sich sicher gut an, aber ich bin mir nicht sicher, ob ich das verstehe. Was meinen Sie eigentlich, wenn Sie sagen, dass diese neuen PCA-Merkmale die Liste der Weine "zusammenfassen"?

Sie: Ich denke, ich kann auf diese Frage zwei verschiedene Antworten geben. Die erste Antwort ist, dass Sie einige Weineigenschaften (Merkmale) suchen, die sich stark von Wein zu Wein unterscheiden. Stellen Sie sich vor, Sie hätten eine Eigenschaft, die für die meisten Weine gleich ist. Das wäre nicht sehr nützlich, nicht wahr? Weine sind sehr unterschiedlich, aber Ihr neues Anwesen lässt sie alle gleich aussehen! Dies wäre sicherlich eine schlechte Zusammenfassung. Stattdessen sucht PCA nach Eigenschaften, bei denen die Unterschiede zwischen den Weinen möglichst groß sind.

Die zweite Antwort ist, dass Sie nach den Eigenschaften suchen, mit denen Sie die ursprünglichen Weineigenschaften vorhersagen oder "rekonstruieren" können. Stellen Sie sich erneut vor, Sie hätten eine Eigenschaft, die in keiner Beziehung zu den ursprünglichen Merkmalen steht. Wenn Sie nur diese neue Eigenschaft verwenden, können Sie die ursprünglichen Eigenschaften auf keinen Fall wiederherstellen! Dies wäre wiederum eine schlechte Zusammenfassung. Daher sucht PCA nach Eigenschaften, mit denen die ursprünglichen Eigenschaften so gut wie möglich wiederhergestellt werden können.

Überraschenderweise stellt sich heraus, dass diese beiden Ziele gleichwertig sind und PCA zwei Fliegen mit einer Klappe schlagen kann.

Ehepartner: Aber Liebling, diese beiden "Ziele" von PCA klingen so unterschiedlich! Warum sollten sie gleichwertig sein?

Sie: Hmmm. Vielleicht sollte ich ein wenig zeichnen (nimmt eine Serviette und beginnt zu kritzeln) . Lassen Sie uns zwei Weinmerkmale auswählen, vielleicht die Dunkelheit des Weins und den Alkoholgehalt - ich weiß nicht, ob sie miteinander korrelieren, aber stellen wir uns vor, dass dies der Fall ist. So könnte ein Streudiagramm verschiedener Weine aussehen:

Jeder Punkt in dieser "Weinwolke" zeigt einen bestimmten Wein. Sie sehen, dass die beiden Eigenschaften ( und in dieser Abbildung) korreliert sind. Eine neue Eigenschaft kann erstellt werden, indem eine Linie durch die Mitte dieser Weinwolke gezogen und alle Punkte auf diese Linie projiziert werden. Diese neue Eigenschaft wird durch eine lineare Kombination , wobei jede Zeile einigen bestimmten Werten von und .$x$$y$$w_1 x + w_2 y$$w_1$$w_2$

Schauen Sie sich das hier genau an - so sehen diese Projektionen für verschiedene Linien aus (rote Punkte sind Projektionen der blauen Punkte):

Wie ich bereits sagte, wird PCA die "beste" Linie nach zwei verschiedenen Kriterien für die "beste" finden. Erstens sollte die Variation der Werte entlang dieser Linie maximal sein. Achten Sie darauf, wie sich die "Streuung" (wir nennen sie "Varianz") der roten Punkte ändert, während sich die Linie dreht. Kannst du sehen, wann es das Maximum erreicht? Zweitens, wenn wir die beiden ursprünglichen Merkmale (Position eines blauen Punkts) aus dem neuen Merkmal (Position eines roten Punkts) rekonstruieren, ergibt sich der Rekonstruktionsfehler aus der Länge der verbindenden roten Linie. Beobachten Sie, wie sich die Länge dieser roten Linien ändert, während sich die Linie dreht. können Sie sehen, wann die Gesamtlänge das Minimum erreicht?

Wenn Sie diese Animation für einige Zeit anstarren, werden Sie feststellen, dass "die maximale Varianz" und "der minimale Fehler" gleichzeitig erreicht werden, nämlich wenn die Linie auf die Magenta-Häkchen zeigt, die ich auf beiden Seiten der Weinwolke markiert habe . Diese Linie entspricht dem neuen Weingut, das von PCA errichtet wird.

PCA steht übrigens für "Hauptkomponentenanalyse" und diese neue Eigenschaft wird als "erste Hauptkomponente" bezeichnet. Und anstatt "Eigenschaft" oder "Merkmal" zu sagen, sagen wir normalerweise "Merkmal" oder "Variable".

Tochter: Sehr schön, Papa! Ich denke, ich kann sehen, warum die beiden Ziele das gleiche Ergebnis liefern: Es liegt im Wesentlichen am Satz von Pythagoras, nicht wahr? Wie auch immer, ich habe gehört, dass PCA irgendwie mit Eigenvektoren und Eigenwerten zusammenhängt; Wo sind sie auf diesem Bild?

Sie: Geniale Beobachtung. Mathematisch wird die Ausbreitung der roten Punkte als der durchschnittliche quadratische Abstand vom Zentrum der Weinwolke zu jedem roten Punkt gemessen; Wie Sie wissen, nennt man es die Varianz . Andererseits wird der Gesamtrekonstruktionsfehler als die durchschnittliche quadratische Länge der entsprechenden roten Linien gemessen. Da der Winkel zwischen roten und schwarzen Linien jedoch immer ° beträgt , entspricht die Summe dieser beiden Größen dem durchschnittlichen quadratischen Abstand zwischen dem Mittelpunkt der Weinwolke und jedem blauen Punkt. das ist genau der Satz von Pythagoras. Natürlich hängt dieser durchschnittliche Abstand nicht von der Ausrichtung der schwarzen Linie ab. Je höher die Varianz, desto geringer der Fehler (weil ihre Summe konstant ist). Dieses von Hand gewellte Argument kann präzisiert werden ($90^\circ$siehe hier ).

Sie können sich übrigens vorstellen, dass die schwarze Linie ein massiver Stab und jede rote Linie eine Feder ist. Die Energie der Feder ist proportional zu ihrer quadratischen Länge (dies ist in der Physik als das Hookesche Gesetz bekannt), sodass sich der Stab so ausrichtet, dass die Summe dieser quadratischen Abstände minimiert wird. Ich habe eine Simulation erstellt, wie es bei viskoser Reibung aussehen wird:

In Bezug auf Eigenvektoren und Eigenwerte. Sie wissen, was eine Kovarianzmatrix ist. In meinem Beispiel ist es eine Matrix, die durchDies bedeutet, dass die Varianz der Variablen beträgt , die Varianz der Variablen beträgt und die Kovarianz zwischen ihnen beträgt . Da es sich um eine quadratische symmetrische Matrix handelt, kann sie durch Auswahl eines neuen orthogonalen Koordinatensystems diagonalisiert werden, das durch ihre Eigenvektoren gegeben ist (dies wird übrigens als Spektralsatz bezeichnet)$2\times 2$

Sie können dies auch auf der rotierenden Figur sehen: Es gibt dort eine graue Linie orthogonal zu der schwarzen; zusammen bilden sie einen rotierenden Koordinatenrahmen. Versuchen Sie zu bemerken, wenn die blauen Punkte in diesem rotierenden Rahmen nicht mehr korrelieren. Die Antwort ist wiederum, dass es genau dann geschieht, wenn die schwarze Linie auf die Magenta-Ticks zeigt. Jetzt kann ich Ihnen sagen, wie ich sie gefunden habe: Sie markieren die Richtung des ersten Eigenvektors der Kovarianzmatrix, die in diesem Fall gleich .$(0.81, 0.58)$

Auf vielfachen Wunsch habe ich den Matlab-Code geteilt, um die obigen Animationen zu erstellen .

Das Manuskript "Ein Tutorial zur Hauptkomponentenanalyse" von Lindsay I Smith hat mir wirklich geholfen, PCA zu erlangen. Ich denke, es ist immer noch zu komplex, um es deiner Großmutter zu erklären, aber es ist nicht schlecht. Sie sollten die ersten paar Bits zur Berechnung von Eigenen usw. überspringen. Gehen Sie zum Beispiel in Kapitel 3 und sehen Sie sich die Diagramme an.

Ich habe einige Beispiele, in denen ich einige Spielzeugbeispiele durchgearbeitet habe, damit ich die lineare PCA vs. OLS-Regression verstehen kann. Ich werde versuchen, diese auszugraben und sie auch zu posten.

edit: Sie haben nicht wirklich nach dem Unterschied zwischen Ordinary Least Squares (OLS) und PCA gefragt, aber da ich meine Notizen ausgegraben habe, habe ich einen Blog-Beitrag darüber verfasst . Die sehr kurze Version ist OLS von y ~ x minimiert den Fehler senkrecht zur unabhängigen Achse wie folgt (gelbe Linien sind Beispiele für zwei Fehler):

Wenn Sie x ~ y regressieren würden (im Gegensatz zu y ~ x im ersten Beispiel), würde dies den Fehler wie folgt minimieren:

und PCA minimiert effektiv Fehler orthogonal zum Modell selbst, wie folgt:

Wichtiger noch, wie andere bereits gesagt haben, hilft Ihnen PCA in einer Situation, in der Sie ein GANZES BÜNDEL unabhängiger Variablen haben, herauszufinden, welche linearen Kombinationen dieser Variablen am wichtigsten sind. Die obigen Beispiele veranschaulichen nur, wie die erste Hauptkomponente in einem wirklich einfachen Fall aussieht.

In meinem Blog-Beitrag habe ich den R-Code zum Erstellen der obigen Grafiken und zum Berechnen der ersten Hauptkomponente. Es könnte sich lohnen, damit zu spielen, um Ihre Intuition rund um PCA aufzubauen. Ich neige dazu, etwas nicht wirklich zu besitzen , bis ich Code schreibe, der es reproduziert. 

Lassen Sie uns zuerst (2) tun. PCA passt ein Ellipsoid an die Daten an. Ein Ellipsoid ist eine mehrdimensionale Verallgemeinerung verzerrter kugelförmiger Formen wie Zigarren, Pfannkuchen und Eier. Diese werden alle sauber durch die Richtungen und Längen ihrer Hauptachsen (Halbachsen) beschrieben, z. B. die Achse der Zigarre oder des Eies oder die Ebene des Pfannkuchens. Unabhängig davon, wie das Ellipsoid gedreht wird, zeigen die Eigenvektoren in diese Hauptrichtungen, und die Eigenwerte geben die Längen an. Die kleinsten Eigenwerte entsprechen den dünnsten Richtungen mit der geringsten Abweichung. Wenn Sie sie also ignorieren (wodurch sie flach zusammenfallen), verlieren Sie relativ wenig Informationen. Das ist PCA.

(1) Abgesehen von der Vereinfachung (oben) benötigen wir eine genaue Beschreibung, Visualisierung und Einsicht. Das Reduzieren von Dimensionen ist eine gute Sache: Es erleichtert das Beschreiben der Daten und lässt uns ein Bild zeichnen, wenn wir das Glück haben, sie auf drei oder weniger zu reduzieren. Manchmal können wir sogar nützliche Wege finden, um die durch die Koordinaten im Bild dargestellten Datenkombinationen zu interpretieren, die einen Einblick in das gemeinsame Verhalten der Variablen gewähren.

$200$

Jede 3D-Punktwolke, die in dem Sinne "kohärent" ist, dass sie keine Cluster, Ranken oder Ausreißer aufweist, sieht wie eine dieser aus. Jede 3D - Punktwolke überhaupt --provided nicht alle Punkte zusammenfallen - kann durch eine dieser Figuren beschrieben werden als ein Anfangspunkt für die Identifizierung weiterer clustering oder Musterung.

Die Intuition, die Sie aus der Betrachtung solcher Konfigurationen entwickeln, kann auf höhere Dimensionen angewendet werden, obwohl es schwierig oder unmöglich ist, diese Dimensionen zu visualisieren.

Hmm, hier geht es um eine völlig unmathematische Sicht auf PCA ...

Stellen Sie sich vor, Sie haben gerade einen Apfelweinladen eröffnet. Sie haben 50 Cidre-Sorten und möchten herausfinden, wie sie in Regale eingeteilt werden, damit Cidre mit ähnlichem Geschmack in dasselbe Regal gestellt werden. Es gibt viele verschiedene Geschmäcker und Texturen im Apfelwein - Süße, Herbheit, Bitterkeit, Hefe, Fruchtigkeit, Klarheit, Sprudel usw. usw. Um die Flaschen in Kategorien einzuteilen, müssen Sie also zwei Fragen beantworten:

1) Welche Eigenschaften sind für die Identifizierung von Apfelweingruppen am wichtigsten? ZB macht es das Klassifizieren anhand der Süße einfacher, Ihre Apfelweine in Gruppen mit ähnlichem Geschmack einzuteilen, als das Klassifizieren anhand der Fruchtigkeit?

2) Können wir unsere Liste der Variablen reduzieren, indem wir einige davon kombinieren? zB gibt es tatsächlich eine Variable, die eine Kombination aus "Hefe und Klarheit und Sprudeligkeit" ist und die eine wirklich gute Skala für die Klassifizierung von Sorten darstellt?

Dies ist im Wesentlichen das, was PCA tut. Hauptbestandteile sind Variablen, die die Variation in einem Datensatz sinnvoll erklären - in diesem Fall, die sinnvoll zwischen Gruppen unterscheiden. Jede Hauptkomponente ist eine Ihrer ursprünglichen erklärenden Variablen oder eine Kombination einiger Ihrer ursprünglichen erklärenden Variablen.

Ich würde in "Laienbegriffen" antworten, indem ich sage, dass PCA darauf abzielt, gerade Linien an die Datenpunkte anzupassen (jeder weiß, was eine gerade Linie ist). Wir nennen diese Geraden "Hauptkomponenten". Es gibt so viele Hauptkomponenten wie Variablen. Die erste Hauptkomponente ist die beste gerade Linie, die Sie an die Daten anpassen können. Die zweite Hauptkomponente ist die beste gerade Linie, die Sie an die Fehler der ersten Hauptkomponente anpassen können. Die dritte Hauptkomponente ist die beste gerade Linie, die Sie an die Fehler der ersten und zweiten Hauptkomponente usw. anpassen können.

Wenn jemand fragt, was Sie mit "am besten" oder "fehlerhaft" meinen, dann sagt dies, dass er kein "Laie" ist, also kann er auf etwas technischere Details wie senkrechte Fehler eingehen und weiß nicht, wo der Fehler liegt x- oder y-Richtung, mehr als zwei oder drei Dimensionen usw. Wenn Sie außerdem vermeiden, auf die OLS-Regression zu verweisen (die der "Laie" wahrscheinlich auch nicht versteht), ist die Erklärung einfacher.

Die Eigenvektoren und Eigenwerte sind an sich keine benötigten Konzepte, sondern mathematische Konzepte, die es bereits gab. Wenn Sie das mathematische Problem von PCA lösen, ist es gleichbedeutend mit dem Finden der Eigenwerte und Eigenvektoren der Kovarianzmatrix.

Ich kann Ihnen meine eigene Erklärung / meinen Beweis für die PCA geben, die ich für sehr einfach und elegant halte und für die nichts anderes als Grundkenntnisse der linearen Algebra erforderlich sind. Es kam ziemlich lange heraus, weil ich in einer einfach zugänglichen Sprache schreiben wollte.

$M$$n$$n$

$\beta$$\beta$$\beta$$\sum_{i=1}^M \|x_i - \mu\|^2$$-\mu$$0$≤ M i = 1 ≤ x ' i ≤ $x_i' = x_i - \mu$$\sum_{i=1}^M \|x_i'\|^2$ .

Nun die Wahl der Leitung. Wir können jede Linie als Punktmenge beschreiben, die die Gleichung für einige Vektoren erfüllt . Beachten Sie, dass, wenn wir die Linie um einen zu orthogonalen Vektor , alle Projektionen auf der Linie ebenfalls um verschoben werden , daher wird der Mittelwert der Projektionen um verschoben , daher die Varianz der Projektionen bleibt unverändert. Das heißt, wir können die Linie parallel zu sich selbst verschieben und die Varianz der Projektionen auf dieser Linie nicht ändern. Beschränken wir uns der Einfachheit halber wieder auf die Linien, die durch den Nullpunkt verlaufen (dh Linien, die durch ).$x = \alpha v + w$$v,w$$\gamma$$v$$\gamma$$\gamma$$x = \alpha v$

Angenommen, wir haben einen Vektor , der die Richtung einer Linie beschreibt, die ein möglicher Kandidat für die gesuchte Linie ist. Wir müssen die Varianz der Projektionen auf der Linie berechnen . Was wir brauchen werden, sind Projektionspunkte und ihre Mittelwerte. Aus der linearen Algebra wissen wir, dass die Projektion der in diesem einfachen Fall auf ist . Beschränken wir uns von nun an nur noch auf Einheitsvektoren . Das heißt, wir können die Länge der Projektion von Punkt auf einfach als schreiben .$v$$\alpha v$$x_i'$$\alpha v$$\langle x_i, v\rangle/\|v\|_2$$v$$x_i'$$v$$\langle x_i', v\rangle$

In einigen der vorherigen Antworten sagte jemand, dass PCA die Summe der Quadrate der Abstände von der gewählten Linie minimiert. Wir können jetzt sehen, dass es wahr ist, weil die Summe der Quadrate der Projektionen plus der Summe der Quadrate der Abstände von der gewählten Linie gleich der Summe der Quadrate der Abstände von Punkt . Indem wir die Summe der Quadrate der Projektionen maximieren, minimieren wir die Summe der Quadrate der Abstände und umgekehrt, aber dies war nur ein nachdenklicher Exkurs, zurück zum Beweis.$0$

Was den Mittelwert der Projektionen anbelangt, so ist zu beachten, dass Teil einer orthogonalen Basis unseres Raums ist und dass, wenn wir unsere Datenpunkte auf jeden Vektor dieser Basis projizieren, sich ihre Summe aufhebt (das ist so, weil auf die Basis projiziert wird) Vektoren von der Basis sind wie das Schreiben der Datenpunkte auf die neue orthogonale Basis. Die Summe aller Projektionen auf dem Vektor (nennen wir die Summe ) und die Summe der Projektionen auf anderen Vektoren von der Basis (nennen wir sie ) ist 0, weil es der Mittelwert der Datenpunkte ist. Aber ist orthogonal zu ! Das heißt .$v$$v$$S_v$$S_o$$S_v$$S_o$$S_o = S_v = 0$

Der Mittelwert unserer Projektionen ist also . $0$Gut, das ist praktisch, denn das bedeutet, dass die Varianz nur die Summe der Quadrate der Längen der Projektionen ist, oder in Symbolen

Nun gut, plötzlich tauchte die Kovarianzmatrix auf. Sagen wir es einfach durch bezeichnen . Das heißt, wir suchen jetzt nach einem Einheitsvektor , der für eine semipositive definite Matrix maximiert .$X$$v$$v^T \cdot X \cdot v$$X$

Nehmen wir nun die Eigenvektoren und Eigenwerte der Matrix und bezeichnen sie mit und , so dass . Wenn die Werte nicht duplizieren, bilden Eigenvektoren eine orthonormale Basis. Wenn ja, wählen wir die Eigenvektoren so aus, dass sie eine orthonormale Basis bilden.$X$$e_1, e_2, \dots , e_n$$\lambda_1 , \dots, \lambda_n$$\lambda_1 \geq \lambda_2 , \geq \lambda_3 \dots$$\lambda$

Berechnen wir nun für einen Eigenvektor . Wir haben$v^T \cdot X \cdot v$$e_i$

Ziemlich gut, das gibt uns für . Nehmen wir nun einen beliebigen Vektor . Da Eigenvektoren eine orthonormale Basis bilden, können wir schreiben: , und wir haben . Wir bezeichnen .$\lambda_1$$e_1$$v$$v = \sum_{i=1}^n e_i \langle v, e_i \rangle$$\sum_{i=1}^n \langle v, e_i \rangle^2 = 1$$\beta_i = \langle v, e_i \rangle$

Zählen wir nun . Wir schreiben als lineare Kombination von und erhalten:$v^T \cdot X \cdot v$$v$$e_i$

Die letzte Gleichung ergibt sich aus der Tatsache, dass die Eigenvektoren paarweise orthogonal gewählt wurden, sodass ihre Punktprodukte Null sind. Da nun alle Eigenvektoren ebenfalls eine Einheitslänge haben, können wir schreiben: , wobei alle positiv sind, und Summe zu .$v^T \cdot X \cdot v = \sum_{i=1}^n \lambda_i \beta_i^2$$\beta_i ^2$$1$

Das heißt, die Varianz der Projektion ist ein gewichtetes Mittel der Eigenwerte. Sicher ist es immer weniger als der größte Eigenwert, weshalb wir den ersten PCA-Vektor wählen sollten.

Nehmen wir nun an, wir wollen einen anderen Vektor. Wir sollten es aus dem orthogonalen Raum zum bereits gewählten auswählen, das heißt aus dem Unterraum . Durch analoge Folgerung kommen wir zu dem Schluss, dass der beste Vektor, auf den projiziert werden kann, . Und so weiter und so fort ...$\mathrm{lin}(e_2, e_3, \dots , e_n)$$e_2$

Übrigens sollte jetzt klar sein, warum die erhaltene Varianz ausgedrückt werden kann durch .$\sum_{i=1}^k \lambda_i / \sum_{i=1}^n \lambda_i$

Wir sollten auch die gierige Wahl der Vektoren rechtfertigen. Wenn wir Vektoren auswählen möchten, auf die projiziert werden soll, ist es möglicherweise nicht die beste Idee, zuerst den besten Vektor auszuwählen, dann den besten aus dem, was übrig bleibt, und so weiter. Ich möchte argumentieren, dass es in diesem Fall gerechtfertigt ist und keinen Unterschied macht. Bezeichnen wir den Vektor, auf den wir projizieren möchten, mit . Angenommen, die Vektoren sind paarweise orthogonal. Wie wir bereits wissen, kann die Gesamtvarianz der Projektionen auf diesen Vektoren ausgedrückt werden durch wobei$k$$k$$v_1, \dots , v_k$

Schreiben wir nun auf einer orthonormalen Basis, die . Bezeichnen wir den Rest der Basis als . Wir können sehen, dass . Da , haben wir und daher für alle .$e_i$$v_1, \dots , v_k$$u_1, \dots, u_{n-k}$$e_i = \sum_{j=1}^k \beta_{ij} v_j + \sum_{j=1}^{n-k} \theta_j \langle e_i, u_j \rangle$$\|e_i\|_2 = 1$$\sum_{j=1}^k \beta_{ij}^2 + \sum_{j=1}^{n-k} \theta_j^2 = 1$$\gamma_i \leq 1$$i$

Jetzt haben wir einen ähnlichen Fall wie nur ein Vektor. Jetzt wissen wir, dass die Gesamtvarianz der Projektionen mit und . Dies ist ein weiterer gewichteter Mittelwert und ist sicherlich nicht mehr als , was der Projektion auf Eigenvektoren entspricht, die den größten Eigenwerten entsprechen.γ i ≤ 1 Σ n i = 1$\sum_{i=1}^n \lambda_i \gamma_i$$\gamma_i \leq 1$$\sum_{i=1}^n \gamma_i = k$$\sum_{i=1}^k \lambda_i$$k$

Okay, ich werde es versuchen. Vor ein paar Monaten habe ich eine Menge Literatur durchgearbeitet, um eine intuitive Erklärung zu finden, die ich einem Nicht-Statistiker erklären könnte. Ich fand die Ableitungen, die Lagrange-Multiplikatoren verwenden, am intuitivsten.

Nehmen wir an, wir haben hochdimensionale Daten - sagen wir 30 Messungen an einem Insekt. Die Käfer haben in einigen dieser Dimensionen unterschiedliche Genotypen und leicht unterschiedliche physikalische Merkmale, aber bei so hohen Dimensionsdaten ist es schwer zu sagen, welche Insekten zu welcher Gruppe gehören.

PCA ist eine Technik zur Dimensionsreduzierung durch:

1. Nehmen linearer Kombinationen der ursprünglichen Variablen.
2. Jede Linearkombination erklärt die größtmögliche Abweichung der Daten.
3. Jede Linearkombination ist nicht mit den anderen korreliert

Oder mathematisch ausgedrückt:

1. Für (Linearkombination für j-te Komponente)$Y_j = a_j' x$
2. Für gilt (erste Komponenten erläutern weitere Variationen)$k > j$$V(Y_k) < V(Y_j)$
3. $a_k' a_j = 0$ (Orthogonalität)

Die Suche nach linearen Kombinationen, die diese Bedingungen erfüllen, führt zu Eigenwerten. Warum?

Ich empfehle, das Buch Eine Einführung in die multivariate Datenanalyse für die vollständige Herleitung (S. 50) zu lesen , aber die Grundidee besteht darin, die Probleme der sukzessiven Optimierung (Maximierung der Varianz) so zu beschränken, dass a'a = 1 für die Koeffizienten a (um den Fall zu verhindern) wenn die Varianz unendlich sein könnte) und eingeschränkt werden, um sicherzustellen, dass die Koeffizienten orthogonal sind.

Dies führt zu einer Optimierung mit Lagrange-Multiplikatoren, was wiederum zeigt, warum Eigenwerte verwendet werden. Ich bin zu faul, um es abzutippen (sorry!), Aber dieses PDF geht von diesem Punkt an ziemlich gut durch den Proof.

Ich würde niemals versuchen, dies meiner Großmutter zu erklären, aber wenn ich allgemein über Techniken zur Dimensionsreduzierung sprechen müsste, würde ich auf dieses triviale Projektionsbeispiel verweisen (nicht auf PCA). Angenommen, Sie haben ein Calder-Handy, das sehr komplex ist. Einige Punkte im 3D-Raum sind nahe beieinander, andere nicht. Wenn wir dieses Handy an die Decke hängen und es von einem Winkel aus beleuchten, erhalten wir eine Projektion auf eine niedrigere Dimensionsebene (eine 2D-Wand). Wenn dieses Mobiltelefon hauptsächlich in einer Richtung breit und in der anderen Richtung dünn ist, können wir es drehen, um Projektionen zu erhalten, die sich in der Nützlichkeit unterscheiden. Intuitiv ist eine dünne Form in einer Dimension, die auf eine Wand projiziert wird, weniger nützlich - alle Schatten überlappen sich und geben uns nicht viele Informationen. Wenn wir es jedoch so drehen, dass das Licht auf die breite Seite scheint, Wir erhalten ein besseres Bild der reduzierten Maßdaten - die Punkte sind weiter verteilt. Das wollen wir oft. Ich denke, meine Großmutter könnte das verstehen :-)

Der Versuch, nicht technisch zu sein ... Stellen Sie sich vor, Sie haben multivariate Daten, eine mehrdimensionale Punktewolke. Wenn Sie die Kovarianzmatrix derjenigen berechnen, die Sie tatsächlich (a) zentrieren, dh den Ursprung als mehrdimensionalen Mittelwert setzen, kreuzen sich die Achsen des Koordinatensystems nun in der Mitte der Wolke. (B) Verschlüsseln Sie die Informationen über die Form der Wolke und wie es durch Varianz-Kovarianz-Einträge im Raum orientiert wird. Daher werden die meisten wichtigen Informationen über die Form der Daten insgesamt in der Kovarianzmatrix gespeichert.

Dann führen Sie eine Eigenzerlegung dieser Matrix durch und erhalten die Liste der Eigenwerte und die entsprechende Anzahl von Eigenvektoren. Die erste Hauptkomponente ist nun die neue latente Variable, die als Achse durch den Ursprung angezeigt und entlang der Richtung der maximalen Varianz (Dicke) der Wolke ausgerichtet werden kann. Die Varianz entlang dieser Achse, dh die Varianz der Koordinaten aller darauf befindlichen Punkte, beträgtDer erste Eigenwert und die Ausrichtung der Achse im Raum in Bezug auf die ursprünglichen Achsen (die Variablen) werden durch den ersten Eigenvektor definiert: Seine Einträge sind die Kosinusse zwischen ihm und diesen ursprünglichen Achsen. Die zuvor genannten Koordinaten von Datenpunkten auf der 1. Komponente sind die Werte der 1. Hauptkomponente oder die Komponentenbewertungen; Sie werden als Produkt aus (zentrierter) Datenmatrix und Eigenvektor berechnet.

"Nach" dem 1. pr. Die gemessene Komponente wird sozusagen mit der gesamten Varianz, die sie ausmacht, aus der Wolke "entfernt", und die Dimensionalität der Wolke nimmt um eins ab. Als nächstes wird alles mit dem zweiten Eigenwert und dem zweiten Eigenvektor - dem 2. Pr - wiederholt. Komponente wird aufgezeichnet und dann "entfernt". Usw.

Also noch einmal: Eigenvektoren sind Richtungskosinusse für Hauptkomponenten, während Eigenwerte die Größe (die Varianz) in den Hauptkomponenten sind. Die Summe aller Eigenwerte ist gleich der Summe der Varianzen, die sich auf der Diagonale der Varianz-Kovarianz-Matrix befinden. Wenn Sie die „Größe“ gespeicherten Informationen in Eigenwerte überEigenVektoren übertragen es auf die „Orientierungs“ darin gespeicherten Informationen hinzuzufügen , die Sie bekommen , was Hauptbestandteil genannt wird Belastungen ; Diese Ladungen sind - da sie beide Arten von Informationen enthalten - die Kovarianzen zwischen den ursprünglichen Variablen und den Hauptkomponenten.

Später möchte ich hier vor allem noch zweimal auf den terminologischen Unterschied zwischen Eigenvektoren und Belastungen eingehen . Viele Leute und einige Pakete (einschließlich einiger R) verwenden die beiden Begriffe synonym. Es ist eine schlechte Praxis, weil die Objekte und ihre Bedeutungen unterschiedlich sind. Eigenvektoren sind die Richtungskosinusse, der Winkel der orthogonalen "Drehung", die PCA beträgt. Ladungen sind Eigenvektoren, die mit der Information über die Variabilität oder Größe der gedrehten Daten geimpft sind. Die Belastungen sind die Assoziationskoeffizienten zwischen den Komponenten und den Variablen und sie sind direkt vergleichbar mit den Assoziationskoeffizienten, die zwischen den Variablen berechnet wurden - Kovarianzen, Korrelationen oder andere Skalarprodukte, auf denen Sie Ihren PCA aufbauen. Sowohl Eigenvektoren als auch Ladungen sind ähnlich, da sie Regressionskoeffizienten für die Vorhersage der Variablen durch die Komponenten dienen (nicht umgekehrt!$^1$). Eigenvektoren sind die Koeffizienten zur Vorhersage von Variablen durch Rohkomponentenbewertungen. Belastungen sind die Koeffizienten zur Vorhersage von Variablen durch skalierte (normalisierte) Komponentenbewertungen (kein Wunder: Belastungen haben Informationen über die Variabilität präzipitiert, weshalb die verwendeten Komponenten nicht berücksichtigt werden müssen). Ein weiterer Grund, Eigenvektoren und Ladungen nicht zu mischen, ist, dass einige andere Techniken zur Dimensionsreduktion neben PCA - wie zum Beispiel einige Formen der Faktoranalyse - Ladungen direkt unter Umgehung von Eigenvektoren berechnen. Eigenvektoren sind das Produkt der Eigenzerlegung oder der Singulärwertzerlegung; Einige Formen der Faktoranalyse verwenden diese Zerlegungen nicht und kommen zu anderen Ergebnissen. Schließlich sind es Ladungen, nicht Eigenvektoren, nach denen Sie die Komponenten oder Faktoren interpretieren (wenn Sie sie interpretieren müssen). Beim Laden geht es um einen Beitrag der Komponente in eine Variable: In der PCA (oder Faktoranalyse) lädt sich die Komponente / der Faktor in die Variable und nicht umgekehrt. In umfassenden PCA-Ergebnissen sollten sowohl Eigenvektoren als auch Belastungen angegeben werden, wie zhier oder hier .

Siehe auch über Ladungen gegen Eigenvektoren.

$^1$ Da die Eigenvektormatrix in PCA orthonormal ist und ihre Umkehrung ihre Transponierung ist, können wir sagen, dass dieselben Eigenvektoren auch die Koeffizienten sind, um die Komponenten durch die Variablen zurückzusagen. Dies gilt jedoch nicht für Ladungen.

OK, eine völlig nicht-mathematische Antwort:

Wenn Sie eine Reihe von Variablen zu einer Reihe von Themen haben und diese auf eine kleinere Anzahl von Variablen zu denselben Themen reduzieren möchten, während Sie so wenig Informationen wie möglich verlieren, ist PCA ein Werkzeug, um dies zu tun.

Sie unterscheidet sich von der Faktorenanalyse, obwohl sie oft ähnliche Ergebnisse liefert, darin, dass FA versucht, eine kleine Anzahl latenter Variablen aus einer größeren Anzahl beobachteter Variablen zu gewinnen, von denen angenommen wird, dass sie mit den latenten Variablen zusammenhängen.

Am einfachsten ist es, in 2-D zu rechnen.

Jede Matrix entspricht einer linearen Transformation. Lineare Transformationen können visualisiert werden, indem Sie eine denkwürdige Figur in der Ebene nehmen und sehen, wie diese Figur durch die lineare Transformation verzerrt wird:

(Bild: Flanigan & Kazdan )

• Eigenvektoren sind die gleich bleibenden Vektoren. Sie zeigen nach der Transformation in dieselbe Richtung wie früher. (Blau ist gleich geblieben, also ist diese Richtung ein Eigenvektor von.)$\tt{shear}$
• Eigenwerte geben an, um wie viel die gleichbleibenden Vektoren wachsen oder schrumpfen. (Blau ist gleich groß geblieben, der Eigenwert wäre also )$\times 1$
• PCA dreht Ihre Achsen, um eine bessere Ausrichtung mit Ihren Daten zu erzielen. _{(Quelle: weigend.com )} PCA verwendet die Eigenvektoren der Kovarianzmatrix, um herauszufinden, wie Sie die Daten drehen sollten. Da Rotation eine Art lineare Transformation ist , sind Ihre neuen Dimensionen Summen der alten wie .
  $\langle 1 \rangle = 23\% \cdot [1] + 46\% \cdot [2] + 39\% \cdot [3]$

Der Grund, warum Menschen, die mit realen Daten arbeiten, an Eigenvektoren und linearen Transformationen interessiert sind, ist, dass in verschiedenen Kontexten "linear" ( ) kann wirklich interessante Dinge abdecken. Stellen Sie sich zum Beispiel vor, was diese Eigenschaft bedeutet, wenn und neue Bedeutungen erhalten oder wenn und aus einem interessanten Feld oder und aus einem interessanten Raum stammen. Zum Beispiel :$f(a\cdot x+b\cdot y)=a\cdot f(x)+b \cdot f(y)$$+$$\cdot$$a$$b$$x$$y$

PCA selbst ist ein weiteres Beispiel, das den Statistikern am vertrautesten ist. Einige der anderen Antworten wie Freyas geben reale PCA - Anwendungen .

Nach dem hervorragenden Beitrag von JD Long in diesem Thread suchte ich nach einem einfachen Beispiel und dem R-Code, der zur Erstellung der PCA erforderlich ist, und kehrte dann zu den Originaldaten zurück. Es gab mir eine geometrische Intuition aus erster Hand, und ich möchte teilen, was ich bekam. Der Datensatz und der Code können direkt kopiert und in R-Form Github eingefügt werden .

Ich habe einen Datensatz verwendet, den ich hier online auf Halbleitern gefunden habe , und ihn auf nur zwei Dimensionen - "Ordnungszahl" und "Schmelzpunkt" - getrimmt, um das Plotten zu erleichtern.

Als Einschränkung dient die Idee lediglich der Veranschaulichung des Berechnungsprozesses: PCA wird verwendet, um mehr als zwei Variablen auf einige abgeleitete Hauptkomponenten zu reduzieren oder die Kollinearität auch bei mehreren Merkmalen zu identifizieren. Daher würde es bei zwei Variablen keine große Anwendung finden, und es würde auch keine Notwendigkeit bestehen, Eigenvektoren von Korrelationsmatrizen zu berechnen, wie von @amoeba ausgeführt.

Außerdem habe ich die Beobachtungen von 44 auf 15 gekürzt, um die Verfolgung einzelner Punkte zu vereinfachen. Das Endergebnis war ein Skelett-Datenrahmen ( dat1):

compounds   atomic.no      melting.point
AIN         10             498.0
AIP         14             625.0
AIAs        23             1011.5
...         ...            ... 

Die Spalte "Verbindungen" gibt die chemische Konstitution des Halbleiters an und spielt die Rolle des Zeilennamens.

Dies kann wie folgt reproduziert werden (fertig zum Kopieren und Einfügen auf der R-Konsole):

dat              <- read.csv(url("http://rinterested.github.io/datasets/semiconductors"))
colnames(dat)[2] <- "atomic.no"
dat1             <- subset(dat[1:15,1:3])
row.names(dat1)  <- dat1$compounds
dat1             <- dat1[,-1]

Die Daten wurden dann skaliert:

X <- apply(dat1, 2, function(x) (x - mean(x)) / sd(x))
# This centers data points around the mean and standardizes by dividing by SD.
# It is the equivalent to `X <- scale(dat1, center = T, scale = T)`  

Die linearen Algebra-Schritte folgten:

C <- cov(X)                                           # Covariance matrix (centered data)

$\begin{bmatrix} &\text{at_no}&\text{melt_p}\\ \text{at_no}&1&0.296\\ \text{melt_p}&0.296&1 \end{bmatrix}$

Die Korrelationsfunktion cor(dat1)gibt die gleiche Ausgabe für die nicht skalierten Daten aus wie die Funktion cov(X)für die skalierten Daten.

lambda        <- eigen(C)$values                      # Eigenvalues
lambda_matrix <- diag(2)*eigen(C)$values              # Eigenvalues matrix

$\begin{bmatrix} &\color{purple}{\lambda_{\text{PC1}}}&\color{orange}{\lambda_{\text{PC2}}}\\ &1.296422& 0\\ &0&0.7035783 \end{bmatrix}$

e_vectors     <- eigen(C)$vectors                     # Eigenvectors

$\frac{1}{\sqrt{2}}\begin{bmatrix} &\color{purple}{\text{PC1}}&\color{orange}{\text{PC2}}\\ &1&\,\,\,\,\,1\\ &1&-1 \end{bmatrix}$

Da der erste Eigenvektor anfänglich als zurückgibt , ändern wir ihn in , um ihn mit den eingebauten Formeln in Einklang zu bringen:$\sim \small [-0.7,-0.7]$$\small [0.7, 0.7]$

e_vectors[,1] = - e_vectors[,1]; colnames(e_vectors) <- c("PC1","PC2")

Die resultierenden Eigenwerte waren und . Unter weniger minimalistischen Bedingungen hätte dieses Ergebnis dazu beigetragen, zu entscheiden, welche Eigenvektoren einbezogen werden sollen (größte Eigenwerte). Zum Beispiel ist der relative Beitrag des ersten Eigenwerts : Dies bedeutet , dass es für Konten der Variabilität in den Daten. Die Variabilität in Richtung des zweiten Eigenvektors beträgt . Dies wird typischerweise in einem Geröllplot gezeigt, das den Wert der Eigenwerte darstellt:$\small 1.2964217$$\small 0.7035783$$\small 64.8\%$eigen(C)$values[1]/sum(eigen(C)$values) * 100$\sim\small 65\%$$35.2\%$

In Anbetracht der geringen Größe dieses Beispiels für einen Spielzeugdatensatz schließen wir beide Eigenvektoren ein, wobei wir verstehen, dass das Ausschließen eines der Eigenvektoren zu einer Verringerung der Dimensionalität führen würde - die Idee hinter PCA.

Die Punktematrix wurde als Matrixmultiplikation der skalierten Daten ( X) mit der Matrix der Eigenvektoren (oder "Rotationen") bestimmt :

score_matrix <-  X %*% e_vectors    
# Identical to the often found operation: t(t(e_vectors) %*% t(X))

Das Konzept beinhaltet eine lineare Kombination jedes Eintrags (in diesem Fall Zeile / Subjekt / Beobachtung / Supraleiter) der zentrierten (und in diesem Fall skalierten) Daten, gewichtet mit den Zeilen jedes Eigenvektors , so dass in jeder der letzten Spalten des Punktematrix, wir werden einen Beitrag von jeder Variablen (Spalte) der Daten (der gesamten X) finden, ABER nur der entsprechende Eigenvektor wird an der Berechnung teilgenommen haben (dh der erste Eigenvektor wird trage zu (Hauptkomponente 1) und zu , wie in:$[0.7, 0.7]^{T}$[ 0,7 , - 0,7 ] T$\text{PC}\,1$$[0.7, -0.7]^{T}$$\text{PC}\,2$

Daher wird jeder Eigenvektor jede Variable unterschiedlich beeinflussen, und dies wird sich in den "Ladungen" der PCA widerspiegeln. In unserem Fall ändert das negative Vorzeichen in der zweiten Komponente des zweiten Eigenvektors das Vorzeichen der Schmelzpunktwerte in den linearen Kombinationen, die PC2 erzeugen, während der Effekt des ersten Eigenvektors durchgehend positiv ist: $[0.7, - 0.7]$

Die Eigenvektoren sind auf skaliert :$1$

> apply(e_vectors, 2, function(x) sum(x^2))
PC1 PC2 
  1   1 

wohingegen die ( Ladungen ) die mit den Eigenwerten skalierten Eigenvektoren sind (trotz der verwirrenden Terminologie in den unten gezeigten eingebauten R-Funktionen). Folglich können die Belastungen berechnet werden als:

> e_vectors          %*% lambda_matrix
          [,1]      [,2]
[1,] 0.9167086  0.497505
[2,] 0.9167086 -0.497505

> prcomp(X)$rotation %*% diag(princomp(covmat = C)$sd^2)
                   [,1]      [,2]
atomic.no     0.9167086  0.497505
melting.point 0.9167086 -0.497505

Es ist interessant festzustellen, dass die gedrehte Datenwolke (das Score-Diagramm) entlang jeder Komponente (PC) eine Varianz aufweist, die den Eigenwerten entspricht:

> apply(score_matrix, 2, function(x) var(x))
       PC1        PC2 
53829.7896   110.8414 
> lambda
[1] 53829.7896   110.8414

Mithilfe der integrierten Funktionen können die Ergebnisse repliziert werden:

# For the SCORE MATRIX:
  prcomp(X)$x
# or...
  princomp(X)$scores # The signs of the PC 1 column will be reversed.

# and for EIGENVECTOR MATRIX:
  prcomp(X)$rotation
# or...
  princomp(X)$loadings

# and for EIGENVALUES:
  prcomp(X)$sdev^2
# or...
  princomp(covmat = C)$sd^2

Alternativ kann die Singularwertzerlegungsmethode ( ) angewendet werden, um die PCA manuell zu berechnen. in der Tat ist dies die Methode, die in verwendet wird . Die Schritte können wie folgt geschrieben werden:$\text{U}\Sigma \text{V}^\text{T}$prcomp()

svd_scaled_dat <-svd(scale(dat1))
eigen_vectors <- svd_scaled_dat$v
eigen_values <- (svd_scaled_dat$d/sqrt(nrow(dat1) - 1))^2
scores<-scale(dat1) %*% eigen_vectors

Das Ergebnis ist unten gezeigt, wobei zunächst die Abstände von den einzelnen Punkten zum ersten Eigenvektor und in einer zweiten Auftragung die orthogonalen Abstände zum zweiten Eigenvektor angegeben sind:

Wenn wir stattdessen die Werte der Punktematrix (PC1 und PC2) aufzeichnen würden - nicht mehr "Schmelzpunkt" und "atomic.no", sondern tatsächlich eine Änderung der Basis der Punktkoordinaten mit den Eigenvektoren als Basis, wären diese Abstände erhalten, würde aber natürlich senkrecht zur xy-Achse werden:

Der Trick bestand nun darin , die ursprünglichen Daten wiederherzustellen . Die Punkte wurden durch eine einfache Matrixmultiplikation der Eigenvektoren transformiert. Nun wurden die Daten durch Multiplikation mit der Inversen der Matrix der Eigenvektoren zurückgedreht, was zu einer deutlichen Änderung der Position der Datenpunkte führte. Beachten Sie zum Beispiel die Änderung des rosa Punkts "GaN" im linken oberen Quadranten (schwarzer Kreis im linken Diagramm unten) und kehren Sie in die Ausgangsposition im linken unteren Quadranten (schwarzer Kreis im rechten Diagramm unten) zurück.

Jetzt hatten wir endlich die ursprünglichen Daten in dieser "de-gedreht" Matrix wiederhergestellt:

Über die Änderung der Rotationskoordinaten der Daten in PCA hinaus müssen die Ergebnisse interpretiert werden, und dieser Prozess beinhaltet tendenziell eine biplot, auf der die Datenpunkte in Bezug auf die neuen Eigenvektorkoordinaten aufgetragen werden und die ursprünglichen Variablen nun als überlagert werden Vektoren. Es ist interessant, die Äquivalenz in der Position der Punkte zwischen den Diagrammen in der zweiten Reihe der obigen Rotationsgraphen ("Scores with xy Axis = Eigenvectors") (links in den folgenden Diagrammen) und dem biplot(nach dem ) zu beachten richtig):

Die Überlagerung der ursprünglichen Variablen als rote Pfeile bietet einen Weg zur Interpretation PC1als Vektor in der Richtung (oder mit einer positiven Korrelation) mit beiden atomic nound melting point; und von PC2als Komponente entlang ansteigender Werte von, atomic noaber negativ korreliert mit melting point, konsistent mit den Werten der Eigenvektoren:

PCA$rotation
                    PC1        PC2
atomic.no     0.7071068  0.7071068
melting.point 0.7071068 -0.7071068

Dieses interaktive Tutorial von Victor Powell gibt sofort ein Feedback zu den Änderungen in den Eigenvektoren, wenn die Datenwolke geändert wird.

Von jemandem, der PCA häufig verwendet hat (und versucht hat, es auch einigen Leuten zu erklären), hier ein Beispiel aus meinem eigenen Gebiet der Neurowissenschaften.

Wenn wir von der Kopfhaut einer Person aufnehmen, machen wir das mit 64 Elektroden. Wir haben also 64 Zahlen in einer Liste, die die von der Kopfhaut abgegebene Spannung darstellen. Jetzt, da wir mit Mikrosekundengenauigkeit aufzeichnen, ergibt ein einstündiges Experiment (oft sind es 4 Stunden) 1e6 * 60 ^ 2 == 3.600.000.000 Zeitpunkte, an denen an jeder Elektrode eine Spannung aufgezeichnet wurde, sodass wir jetzt haben eine 3.600.000.000 x 64-Matrix. Da PCA in erster Linie davon ausgeht, dass Ihre Variablen korreliert sind, ist es eine großartige Technik, diese lächerliche Datenmenge auf eine Menge zu reduzieren, die nachvollziehbar ist. Wie bereits mehrfach gesagt, geben die Eigenwerte den Betrag der Varianz wieder, der durch die Variablen (Spalten) erklärt wird. In diesem Fall repräsentiert ein Eigenwert die Varianz der Spannung zu einem bestimmten Zeitpunkt, die von einer bestimmten Elektrode geliefert wird. Jetzt können wir also sagen: "Oh, gut, ElektrodexZu diesem Zeitpunkt ysollten wir uns auf das konzentrieren, worauf wir uns für die weitere Analyse konzentrieren sollten, da hier die meisten Veränderungen stattfinden.

Ich könnte eine schlechte Person sein, um das zu beantworten, weil ich die sprichwörtliche Großmutter bin, die mir das Konzept erklärt hat und nicht viel mehr, aber hier ist:

Angenommen, Sie haben eine Bevölkerung. Ein großer Teil der Bevölkerung erkrankt an Herzinfarkten. Sie versuchen herauszufinden, was die Herzinfarkte verursacht.

Sie haben zwei Daten: Größe und Gewicht.

Nun ist es klar, dass es eine gewisse Beziehung zwischen Gewicht und Herzinfarkt gibt, aber die Korrelation ist nicht wirklich stark. Es gibt einige schwere Menschen, die viele Herzinfarkte haben, aber manche nicht.

Wenn Sie jetzt eine PCA durchführen, ist das Gewicht geteilt durch die Körpergröße ("Körpermasse") ein viel wahrscheinlicherer Prädiktor für Herzinfarkte als entweder das Gewicht oder die Körpergröße, denn die "Realität" ist, dass dies der Fall ist Körpermasse, die den Herzinfarkt verursacht.

Im Wesentlichen machen Sie PCA, weil Sie eine Reihe von Dingen messen und nicht wirklich wissen, ob dies wirklich die Hauptkomponenten sind oder ob es eine tiefere zugrunde liegende Komponente gibt, die Sie nicht gemessen haben.

[Bitte editieren Sie diese Datei, wenn sie nicht in der Basis ist. Ich verstehe das Konzept wirklich nicht tiefer].

Hier ist eine für Oma:

In unserer Stadt gibt es Straßen nach Norden und Süden, einige nach Osten und Westen und sogar einige nach Nordwesten und Südosten, einige nach Nordosten und Südwesten. Eines Tages misst ein Typ den gesamten Verkehr auf allen Straßen. Er stellt fest, dass der größte Verkehr diagonal von Nordwesten nach Südosten verläuft, der zweitgrößte senkrecht dazu von Nordosten nach Südwesten, und der Rest ist ziemlich klein. Also zeichnet er ein großes Quadrat und setzt eine große Linie von links nach rechts und sagt, das ist NW nach SE, dann zeichnet er eine weitere Linie vertikal durch die Mitte auf und ab. Er sagt, dass dies die zweitgrößte Verkehrsrichtung ist (NE nach SW). Der Rest ist klein und kann ignoriert werden.

Die linke rechte Linie ist der erste Eigenvektor und die Auf-Ab-Linie ist der zweite Eigenvektor. Die Gesamtzahl der nach links und rechts fahrenden Autos ist der erste Eigenwert und die nach oben und unten fahrenden Autos sind der zweite Eigenwert.

Diese Antwort liefert eine intuitive und nicht mathematische Interpretation:

Die PCA gibt Ihnen eine Reihe von orthogonalen Vektoren in einer hochdimensionalen Punktwolke. Die Reihenfolge der Vektoren wird durch die Informationen bestimmt, die nach dem Projizieren aller Punkte auf die Vektoren übermittelt werden.

Mit anderen Worten: Der erste Hauptkomponentenvektor sagt Ihnen am meisten über die Punktwolke aus, nachdem Sie alle Punkte auf den Vektor projiziert haben. Dies ist natürlich eine intuitive Interpretation.

Schauen Sie sich dieses Ellipsoid an (folgen Sie dem Link für ein 3D-Modell) :

Wenn Sie einen Vektor auswählen müssten, der einen eindimensionalen Unterraum bildet, auf den die Punkte der Ellipsoide projiziert werden. Welches würdest du wählen, weil es die meisten Informationen über das Originalset in 3 Dimensionen liefert?

Ich denke der rote entlang der längsten Achse. Und das ist eigentlich die berechnete 1. Hauptkomponente! Welches als nächstes - ich würde das blaue entlang der nächstlängsten Achse wählen.

Normalerweise wollen Sie einen Satz von Punkten von einem hochdimensionalen Raum auf eine zweidimensionale Ebene oder in einen projizieren dreidimensionalen Raum .

http://www.joyofdata.de/blog/illustration-der-principal-component-analysis-pca/

Obwohl es viele Beispiele gibt, die ein intuitives Verständnis von PCA vermitteln, kann diese Tatsache es fast erschweren, es am Anfang zu erfassen, zumindest war es für mich so.

"Was war das einzige an PCA, das all diese verschiedenen Beispiele aus verschiedenen Disziplinen gemeinsam haben?"

Was mir beim intuitiven Verstehen geholfen hat, waren ein paar mathematische Parallelen, da es offensichtlich ist, dass die Mathematik der einfache Teil für Sie ist, obwohl dies Ihrer Großmutter nicht hilft, sie zu erklären ...

Denken Sie an ein Regularisierungsproblem und versuchen Sie es zu bekommen

$Y$$Y$

$Y$$Y$$X$$k$$B$$Y$$X$$B$$k$$S$$V$$S$$V^\mathrm{T}$

$A$$A$

Hier ist eine mathematische Antwort: Die erste Hauptkomponente ist die längste Dimension der Daten. Schauen Sie es sich an und fragen Sie: Wo sind die Daten am breitesten? Das ist die erste Komponente. Die nächste Komponente ist die Senkrechte. Eine Zigarre mit Daten hat also eine Länge und eine Breite. Es macht Sinn für alles, was irgendwie länglich ist.

Ich verstehe die Hauptkomponenten folgendermaßen: Daten mit mehreren Variablen (Größe, Gewicht, Alter, Temperatur, Wellenlänge, prozentuales Überleben usw.) können dreidimensional dargestellt werden, um die Beziehung zueinander darzustellen.

Wenn Sie nun irgendwie einen Sinn für "3D-Daten" haben möchten, möchten Sie vielleicht wissen, welche 2D-Ebenen (Querschnitte) dieser 3D-Daten die meisten Informationen für eine gegebene Reihe von Variablen enthalten. Diese 2D-Ebenen sind die Hauptkomponenten, die einen Anteil jeder Variablen enthalten.

Stellen Sie sich Hauptkomponenten selbst als Variablen vor, mit zusammengesetzten Merkmalen aus den ursprünglichen Variablen (diese neue Variable könnte als Teilegewicht, Teilehöhe, Teilealter usw. beschrieben werden). Wenn Sie eine Hauptkomponente (X) gegen eine andere (Y) plotten, erstellen Sie eine 2D-Karte, die geometrische Korrelationen zwischen Originalvariablen beschreiben kann. Nun der nützliche Teil: Da jedes zu vergleichende Subjekt (Beobachtung) mit Werten für jede Variable verknüpft ist, befinden sich die Subjekte (Beobachtungen) auch irgendwo auf dieser XY-Karte. Ihre Position basiert auf den relativen Beiträgen jeder zugrunde liegenden Variablen (dh eine Beobachtung kann stark von Alter und Temperatur beeinflusst werden, während eine andere stärker von Größe und Gewicht beeinflusst wird).

Ich werde eine nicht-mathematische Antwort und eine detailliertere Vogelperspektive der Motivation durch Mathematik im zweiten Teil geben.

Nicht-Mathy:

Die nicht-mathematische Erklärung ist, dass PCA bei hochdimensionalen Daten hilft, indem Sie sehen, in welche Richtungen Ihre Daten die größte Varianz aufweisen. Diese Richtungen sind die Hauptkomponenten . Sobald Sie über diese Informationen verfügen, können Sie in einigen Fällen entscheiden, die Hauptkomponenten selbst als aussagekräftige Variablen zu verwenden, und die Dimensionalität Ihrer Daten erheblich reduzieren, indem Sie nur die Hauptkomponenten mit der größten Varianz beibehalten ( erklärende Kraft ).

Angenommen, Sie geben einen Fragebogen für politische Umfragen mit 30 Fragen aus. Jeder Frage kann eine Antwort von 1 ( trifft überhaupt nicht zu ) bis 5 ( trifft voll zu ) zugewiesen werden . Sie erhalten Unmengen von Antworten und haben jetzt 30-dimensionale Daten, aus denen Sie weder Kopf noch Zahl machen können. Dann denken Sie verzweifelt, dass Sie PCA ausführen und entdecken, dass 90% Ihrer Varianz aus einer Richtung stammen und diese Richtung keiner Ihrer Achsen entspricht. Nach weiterer Prüfung der Daten kommen Sie zu dem Schluss, dass diese neue hybride Achse dem politischen Spektrum von links nach rechts, dh dem Spektrum von Demokraten und Republikanern, entspricht, und betrachten die subtileren Aspekte der Daten.

Mathy:

Manchmal hilft es, herauszuzoomen und die mathematische Motivation zu betrachten, um etwas Licht auf die Bedeutung zu werfen.

Es gibt eine spezielle Matrizenfamilie, die einfach durch Ändern der Koordinatenachse in diagonale Matrizen umgewandelt werden kann . Natürlich nennt man sie die diagonalisierbaren Matrizen und eleganterweise sind die neuen Koordinatenachsen, die dazu benötigt werden, die Eigenvektoren.

Wie sich herausstellt, ist die Kovarianzmatrix symmetrisch und immer diagonalisierbar ! In diesem Fall heißen die Eigenvektoren die Hauptkomponenten, und wenn Sie die Kovarianzmatrix in Eigenvektorkoordinaten ausschreiben, entsprechen die diagonalen Einträge (die einzigen verbleibenden) der Varianz in Richtung Ihrer Eigenvektoren. Dadurch können wir wissen, welche Richtungen die größte Varianz aufweisen. Da die Kovarianzmatrix in diesen Koordinaten diagonal ist, haben Sie außerdem alle Korrelationen zwischen Ihren Variablen geschickt eliminiert.

Wie in der Praxis üblich, gehen wir davon aus, dass unsere Variablen normal verteilt sind, und es ist daher ganz natürlich, zu versuchen, unsere Koordinaten zu ändern, um das einfachste Bild zu erhalten. Wenn Sie Ihre Hauptkomponenten und ihre jeweiligen Eigenwerte (Varianz) kennen, können Sie die Dimensionalität Ihrer Daten bei Bedarf reduzieren und eine schnelle allgemeine Übersicht darüber erhalten, wo die Variation Ihrer Daten liegt.

Aber am Ende des Tages kommt die Wurzel all diese Wünschbarkeit von der Tatsache , dass Diagonalmatrizen ist Art und Weise leichter mit ihren Messier im Vergleich zu beschäftigen, allgemeinere Cousins.

Ich betrachte PCA als geometrisches Werkzeug. Wenn Sie eine Reihe von Punkten im 3-Raum erhalten, die so ziemlich alle auf einer geraden Linie liegen, und Sie die Gleichung dieser Linie herausfinden möchten, erhalten Sie sie über PCA (nehmen Sie die erste Komponente). Wenn Sie eine Reihe von Punkten im 3-Raum haben, die größtenteils planar sind, und die Gleichung dieser Ebene ermitteln möchten, führen Sie dies über PCA aus (nehmen Sie den niedrigstwertigen Komponentenvektor und dieser sollte normal zur Ebene sein).

Warum so Eigenwerte / Eigenvektoren?

Wenn Sie PCA ausführen, möchten Sie eine orthogonale Basis berechnen, indem Sie die projizierte Varianz für jeden Basisvektor maximieren.

Nach der Berechnung der vorherigen Basisvektoren soll der nächste sein:

• orthogonal zum vorherigen
• Norm 1
• Maximierung der projizierten Varianz, dh mit maximaler Kovarianznorm

Dies ist ein eingeschränktes Optimierungsproblem, und die Lagrange-Multiplikatoren (für die geometrische Intuition siehe Wikipedia-Seite) geben an, dass die Gradienten des Objektivs (projizierte Varianz) und der Einschränkung (Einheitennorm) im Optimium "parallel" sein sollten.

Dies ist das Gleiche wie zu sagen, dass der nächste Basisvektor ein Eigenvektor der Kovarianzmatrix sein sollte. Die beste Wahl bei jedem Schritt ist, den mit dem größten Eigenwert unter den verbleibenden auszuwählen.

Grundsätzlich findet PCA neue Variablen, die lineare Kombinationen der ursprünglichen Variablen sind, so dass die Daten im neuen Raum weniger Dimensionen haben. Stellen Sie sich einen Datensatz vor, der aus den dreidimensionalen Punkten auf der Oberfläche einer in einem Winkel hochgehaltenen flachen Platte besteht. In den ursprünglichen x-, y- und z-Achsen benötigen Sie 3 Dimensionen, um die Daten darzustellen, aber mit der richtigen linearen Transformation benötigen Sie nur 2.

Grundsätzlich hat @Joel gesagt, aber nur lineare Kombinationen der Eingangsvariablen.

Vor einiger Zeit habe ich versucht, diesen PCA-Algorithmus zu verstehen und wollte mir Notizen über Eigenvektoren und Eigenwerte machen. In diesem Dokument heißt es, dass der Zweck von Elektrofahrzeugen darin besteht, ein Modell des großen Modells in ein sehr kleines Modell umzuwandeln.

Anstatt zum Beispiel zuerst die Brücke in voller Größe zu konstruieren und dann Experimente und Tests daran durchzuführen, ist es möglich, EVs zu verwenden, um eine Brücke in sehr kleiner Größe zu erstellen, bei der alle Faktoren / Mengen um den gleichen Spielraum reduziert werden und darüber hinaus Das tatsächliche Ergebnis von Tests und Belastungstests, die mit diesem durchgeführt wurden, kann entsprechend den Anforderungen des ursprünglichen Modells berechnet und vergrößert werden. In gewisser Weise helfen EVs dabei, Zusammenfassungen des Originals zu erstellen .

Für mich hatte diese Erklärung eine tiefgreifende Bedeutung für das, was ich zu tun versuchte! Hoffe es hilft dir auch!

Stellen Sie sich vor, Oma hat gerade ihre ersten Fotos und Filme mit der Digitalkamera aufgenommen, die Sie ihr zu Weihnachten geschenkt haben. Leider lässt sie ihre rechte Hand fallen, als sie auf den Knopf für Fotos drückt, und sie zittert auch während der Filme. Sie bemerkt, dass die Menschen, Bäume, Zäune, Gebäude, Türen, Möbel usw. nicht gerade auf und ab sind, nicht vertikal, und dass der Boden, der Boden, das Meer, der Horizont nicht gut horizontal sind. und auch die filme sind ziemlich wackelig. Sie fragt, ob Sie ihr helfen können, alle 3000 Urlaubsfotos und etwa 100 Videos zu Hause und am Strand (sie ist Australierin) zu reparieren, Geschenke zu öffnen und auf dem Land spazieren zu gehen. Sie hat diese Foto-Software, mit der Sie das tun können, was sie sagt. Du sagst ihr, dass das Tage dauern würde und dass die Videos sowieso nicht funktionieren würden, Sie kennen jedoch Techniken, die als PCA und ICA bezeichnet werden und möglicherweise hilfreich sind. Sie erklären, dass Ihre Forschung tatsächlich nur diese Art der Rotation von Daten in die natürlichen Dimensionen umfasst, dass diese Techniken die wichtigsten Richtungen in den Daten, in diesem Fall das Foto, finden und rotieren, sodass die wichtigste horizontal ist, die zweite ist vertikal (und es kann sogar für mehr Dimensionen weitergehen, die wir uns nicht sehr gut vorstellen können, obwohl Zeit auch eine Dimension in den Filmen ist).

-

Technik beiseite. In der Tat könnten Sie wahrscheinlich Ihren Doktortitel für sie verdienen, und es gibt einen wichtigen Artikel von Bell und Sejnowski (1997) über unabhängige Komponenten von Bildern, die Kanten entsprechen. Um dies mit PCA in Verbindung zu bringen: ICA verwendet PCA oder SVD als ersten Schritt, um die Dimensionalität und die anfänglichen Approximationen zu reduzieren, verbessert sie dann jedoch, um nicht nur Fehler zweiter Ordnung (SSE) wie PCA, sondern auch Fehler höherer Ordnung zu berücksichtigen - sofern dies zutrifft ICA, alle höheren Ordnungen, obwohl sich viele Algorithmen auf den 3. oder 4. beschränken. Die PCA-Komponenten niedriger Ordnung werden in der Regel stark von den Horizontalen und Vertikalen beeinflusst. Der Umgang mit Kamerabewegungen für die Filme kann auch von PCA / ICA Gebrauch machen. Sowohl für die 2D-Fotos als auch für die 2½D-Filme benötigen Sie einige repräsentative Tricks, um dies zu erreichen.

Eine andere Anwendung, die Sie Oma erklären könnten, sind Eigengesichter - Eigenvektoren höherer Ordnung können die '7 Grundemotionen' approximieren (die durchschnittliche Fläche für jede von ihnen und die 'skalierte Rotation' oder Linearkombination, um diese Mittelung durchzuführen), aber häufig finden wir Komponenten, die sind geschlechts- und rassenspezifisch, und einige können Personen oder einzelne Merkmale (Brille, Bart usw.) unterscheiden. Dies ist der Fall, wenn Sie nur wenige Fotos von einer Person und viele Emotionen / Ausdrücke haben. Wenn Sie jedoch viele Gesichter mit neutralen Ausdrücken haben, kommt es zu einer anderen Tendenz. Die Verwendung von ICA anstelle von PCA scheint für grundlegende Emotionen nicht wirklich hilfreich zu sein, aber Bartlett und Sejnowsiki (1997) haben gezeigt, dass es nützliche Funktionen für die Gesichtserkennung bietet.

Ich denke, dass jeder anfängt, PCA vom falschen Ende zu erklären: von den Eigenvektoren. Meine Antwort beginnt am richtigen Ort: Koordinatensystem. Eigenvektoren und das Eigenproblem im Allgemeinen sind das mathematische Werkzeug, mit dem das eigentliche Problem angegangen wird, bei dem es sich um ein falsches Koordinatensystem handelt. Ich erkläre es.

Beginnen wir mit einer Zeile. Was ist eine Linie? Es ist ein eindimensionales Objekt. Sie benötigen also nur eine Dimension, um von einem Punkt zum anderen zu gelangen. In einer Ebene fügen Sie zwei Koordinaten an einen beliebigen Punkt einer Linie an. Das liegt daran, dass in Bezug auf eine Linie selbst das Koordinatensystem willkürlich gewählt wird. Das Koordinatensystem spiegelt nicht die innere eindimensionale Natur der Linie wider. Wenn ich nur immer den Ursprung meines kartesischen Koordinatensystems auf die Linie setzen und es so drehen würde, dass seine x-Achse auf der Linie liegt, dann würde ich keine y-Achse mehr brauchen! Alle meine Punkte liegen auf einer Achse, weil eine Linie ein eindimensionales Objekt ist.

Hier sollten die PCA-Erklärungen beginnen. Das Eigenproblem ist ein Werkzeug, das die von mir beschriebene Rotation ausführt, und die Abwertung von Variablen bringt den Ursprung auf die Linie. PCA hilft dabei, die tatsächlichen Dimensionen der Daten zu ermitteln , solange die Beziehungen zwischen den Variablen linear sind .

Denken Sie daran, dass ein Eigenvektor ein Vektor ist, dessen Transformation parallel zum gleichen Eingangsvektor verläuft. Ein Eigenvektor mit einem hohen Eigenwert bedeutet also, dass der Eigenvektor einen hohen Grad an "Parallelität" zu den Daten aufweist, dh Sie können die Daten nur mit diesem Vektor darstellen und in der neuen Darstellung einen geringen Fehler erwarten. Wenn Sie zusätzliche Eigenvektoren mit niedrigeren Eigenwerten auswählen, können Sie mehr Details der Daten darstellen, da Sie andere 'Parallelitäten' darstellen, die aufgrund niedrigerer Eigenwerte nicht so wichtig sind wie die erste.

PCA ist im Grunde eine Projektion eines höherdimensionalen Raums in einen niederdimensionalen Raum, wobei so viele Informationen wie möglich erhalten bleiben.

Ich habe einen Blogbeitrag geschrieben, in dem ich PCA über die Projektion einer 3D-Teekanne erkläre ...

... auf eine 2D-Ebene unter Beibehaltung möglichst vieler Informationen:

Details und den vollständigen R-Code finden Sie im Beitrag:
http://blog.ephorie.de/intuition-for-principal-component-analysis-pca

Vielleicht ist spät in diesen Analysen die implizite Annahme, dass sich Daten aus Gruppe I von denen aus Gruppe II unterscheiden, und man versucht herauszufinden, welche Komponente wahrscheinlich den Hauptfaktor für den Unterschied darstellt.

Wenn Sie eine PCA-Analyse durchführen, die identische Ellipsoide für 2 verschiedene Sätze ergibt, werden Sie darauf hingewiesen, dass sich die beiden Sätze durch keinen der von Ihnen gemessenen Parameter unterscheiden.