Statistiken und Big Data pca

1

Hauptkomponentenanalyse gegen Merkmalsauswahl

Ich mache ein maschinelles Lernprojekt mit WEKA. Es ist eine überwachte Klassifizierung und in meinen grundlegenden Experimenten habe ich ein sehr schlechtes Maß an Genauigkeit erreicht. Dann wollte ich eine Funktionsauswahl treffen, aber dann hörte ich von PCA. Bei der Merkmalsauswahl berücksichtigen wir eine Teilmenge von Attributen, die den größten …

11 machine-learning pca feature-selection weka

3

Wann würden Sie bei der Klassifizierung eher PCA als LDA verwenden?

Ich lese diesen Artikel über den Unterschied zwischen der Analyse von Hauptkomponenten und der Analyse mehrerer Diskriminanten (lineare Diskriminanzanalyse) und versuche zu verstehen, warum Sie jemals PCA anstelle von MDA / LDA verwenden würden. Die Erklärung ist wie folgt zusammengefasst: Grob gesagt versuchen wir in PCA, die Achsen mit maximalen …

10 classification pca dimensionality-reduction discriminant-analysis

1

Wie erhält man "Eigenwerte" (Prozentsätze der erklärten Varianz) von Vektoren, die keine PCA-Eigenvektoren sind?

Ich möchte verstehen, wie ich den Prozentsatz der Varianz eines Datensatzes nicht in dem von PCA bereitgestellten Koordinatenraum, sondern gegen einen etwas anderen Satz von (gedrehten) Vektoren erhalten kann. set.seed(1234) xx <- rnorm(1000) yy <- xx * 0.5 + rnorm(1000, sd = 0.6) vecs <- cbind(xx, yy) plot(vecs, xlim = …

10 r variance pca linear-algebra

2

Inverse Kovarianzmatrix gegen Kovarianzmatrix in PCA

Macht es in PCA einen Unterschied, ob wir Hauptkomponenten der inversen Kovarianzmatrix auswählen oder ob wir Eigenvektoren der Kovarianzmatrix fallen lassen, die großen Eigenwerten entsprechen? Dies hängt mit der Diskussion in diesem Beitrag zusammen .

10 machine-learning pca computational-statistics

2

Kann die Hauptkomponentenanalyse für Aktienkurse / instationäre Daten verwendet werden?

Ich lese ein Beispiel aus dem Buch Maschinelles Lernen für Hacker . Ich werde zuerst auf das Beispiel eingehen und dann über meine Frage sprechen. Beispiel : Nimmt einen Datensatz für 10 Jahre mit 25 Aktienkursen. Läuft PCA auf den 25 Aktienkursen. Vergleicht die Hauptkomponente mit dem Dow Jones Index. …

10 time-series pca references covariance stationarity

1

Was bedeutet PCA, wenn nur große paarweise Abstände beibehalten werden?

Ich lese gerade über die t-SNE-Visualisierungstechnik und es wurde erwähnt, dass einer der Nachteile der Verwendung der Hauptkomponentenanalyse (PCA) zur Visualisierung hochdimensionaler Daten darin besteht, dass nur große paarweise Abstände zwischen den Punkten beibehalten werden. Bedeutungspunkte, die im hochdimensionalen Raum weit voneinander entfernt sind, würden auch im niedrigdimensionalen Unterraum weit …

10 machine-learning data-visualization pca tsne

1

Ist eine groß angelegte PCA überhaupt möglich?

Die klassische Methode der Hauptkomponentenanalyse (PCA) besteht darin, sie auf einer Eingabedatenmatrix durchzuführen, deren Spalten den Mittelwert Null haben (dann kann PCA die Varianz "maximieren"). Dies kann leicht durch Zentrieren der Säulen erreicht werden. Wenn jedoch die Eingabematrix dünn ist, ist die zentrierte Matrix jetzt länger dünn und passt - …

10 pca algorithms dimensionality-reduction large-data sparse

1

Warum erklären alle PLS-Komponenten zusammen nur einen Teil der Varianz der Originaldaten?

Ich habe einen Datensatz bestehend aus 10 Variablen. Ich habe partielle kleinste Quadrate (PLS) ausgeführt, um eine einzelne Antwortvariable anhand dieser 10 Variablen vorherzusagen, 10 PLS-Komponenten extrahiert und dann die Varianz jeder Komponente berechnet. Auf den Originaldaten habe ich die Summe der Varianzen aller Variablen genommen, die 702 ist. Dann …

10 regression pca covariance-matrix partial-least-squares

1

Wird PCA immer noch über die Eigendekomposition der Kovarianzmatrix durchgeführt, wenn die Dimensionalität größer als die Anzahl der Beobachtungen ist?

Ich habe eine Matrix , die meine Abtastwerte im dimensionalen Raum enthält. Ich möchte jetzt meine eigene Hauptkomponentenanalyse (PCA) in Matlab codieren. Ich erniedrige zuerst zu .20×10020×10020\times100XXXN=20N=20N=20D=100D=100D=100XXXX0X0X_0 Ich habe aus dem Code von jemandem gelesen, dass wir in solchen Szenarien, in denen wir mehr Dimensionen als Beobachtungen haben, die Kovarianzmatrix …

10 pca

2

Anwenden von PCA auf Testdaten zu Klassifizierungszwecken

Ich habe kürzlich etwas über die wunderbare PCA gelernt und das in der Scikit-Learn-Dokumentation beschriebene Beispiel ausgeführt . Ich bin interessiert zu wissen, wie ich PCA für Klassifizierungszwecke auf neue Datenpunkte anwenden kann. Nachdem ich PCA in einer zweidimensionalen Ebene (x-, y-Achse) visualisiert habe, sehe ich, dass ich wahrscheinlich eine …

10 classification pca scikit-learn

1

Verwirrt über die visuelle Erklärung von Eigenvektoren: Wie können visuell unterschiedliche Datensätze dieselben Eigenvektoren haben?

Viele Statistiklehrbücher bieten eine intuitive Illustration der Eigenvektoren einer Kovarianzmatrix: Die Vektoren u und z bilden die Eigenvektoren (also Eigenachsen). Das macht Sinn. Was mich jedoch verwirrt, ist, dass wir Eigenvektoren aus der Korrelationsmatrix extrahieren , nicht die Rohdaten. Darüber hinaus können sehr unterschiedliche Rohdatensätze identische Korrelationsmatrizen aufweisen. Zum Beispiel …

10 correlation pca covariance-matrix eigenvalues

2

Was sind gute Metriken, um die Qualität einer PCA-Anpassung zu bewerten und die Anzahl der Komponenten auszuwählen?

Was ist eine gute Metrik zur Bewertung der Qualität der Hauptkomponentenanalyse (PCA)? Ich habe diesen Algorithmus an einem Datensatz durchgeführt. Mein Ziel war es, die Anzahl der Funktionen zu reduzieren (die Informationen waren sehr redundant). Ich weiß, dass der Prozentsatz der aufbewahrten Varianz ein guter Indikator dafür ist, wie viele …

10 machine-learning pca data-mining information-theory

3

Verliert die Dimensionsreduzierung immer einige Informationen?

Verliert die Dimensionsreduzierung, wie der Titel schon sagt, immer einige Informationen? Betrachten Sie zum Beispiel PCA. Wenn die Daten, die ich habe, sehr spärlich sind, würde ich annehmen, dass eine "bessere Codierung" gefunden werden könnte (hängt dies irgendwie mit dem Rang der Daten zusammen?), Und nichts würde verloren gehen.

10 pca information-theory information

1

Wie ist dieser PCA-Biplot zu interpretieren, der aus einer Umfrage stammt, an welchen Bereichen Menschen interessiert sind?

Hintergrund: Ich habe Hunderte von Teilnehmern meiner Umfrage gefragt, wie sehr sie an ausgewählten Bereichen interessiert sind (nach fünf Punkten Likert-Skalen, wobei 1 "nicht interessiert" und 5 "interessiert" bedeutet). Dann habe ich PCA ausprobiert. Das Bild unten ist eine Projektion in die ersten beiden Hauptkomponenten. Farben werden für Geschlechter verwendet …

10 pca interpretation survey likert biplot

3

Auswahl der Anzahl der beizubehaltenden Hauptkomponenten

Eine Methode, die mir vorgeschlagen wurde, besteht darin, sich ein Geröllplot anzusehen und nach "Ellbogen" zu suchen, um die richtige Anzahl der zu verwendenden PCs zu bestimmen. Aber wenn die Darstellung nicht klar ist, hat R eine Berechnung, um die Anzahl zu bestimmen? fit <- princomp(mydata, cor=TRUE)

10 r pca

Als «pca» getaggte Fragen