Statistiken und Big Data eigenvalues

28

Sinnvolles Verständnis von Hauptkomponentenanalyse, Eigenvektoren und Eigenwerten

In der heutigen Mustererkennungsklasse sprach mein Professor über PCA, Eigenvektoren und Eigenwerte. Ich habe die Mathematik verstanden. Wenn ich gebeten werde, Eigenwerte usw. zu finden, mache ich das wie eine Maschine richtig. Aber ich habe es nicht verstanden . Ich habe den Zweck nicht verstanden. Ich habe es nicht gespürt. …

976 pca intuition eigenvalues canonical-question

3

Warum muss die Korrelationsmatrix positiv semidefinit sein und was bedeutet es, positiv semidefinit zu sein oder nicht?

Ich habe die Bedeutung der positiven semidefiniten Eigenschaft von Korrelations- oder Kovarianzmatrizen untersucht. Ich suche Informationen zu Definition der positiven Halbbestimmtheit; Seine wichtigen Eigenschaften, praktische Implikationen; Die Konsequenz einer negativen Determinante, Auswirkung auf multivariate Analyse- oder Simulationsergebnisse usw.

34 covariance-matrix eigenvalues determinant correlation-matrix

1

Wenn ich eine zufällige symmetrische Matrix generiere, wie hoch ist die Wahrscheinlichkeit, dass sie positiv ist?

Ich hatte eine seltsame Frage, als ich einige konvexe Optimierungen ausprobierte. Die Frage ist: Angenommen, ich generiere zufällig (z. B. Standardnormalverteilung) eine Symmetriematrix (z. B. generiere ich eine obere Dreiecksmatrix und fülle die untere Hälfte aus, um sicherzustellen, dass sie symmetrisch ist) ? Gibt es sowieso die Wahrscheinlichkeit zu berechnen?N× …

32 probability matrix random-generation eigenvalues random-matrix

1

Wie wirkt sich die Zentrierung auf die PCA aus (für SVD und Eigenzerlegung)?

Welchen Unterschied macht die Zentrierung (oder die Aufhebung der Bedeutung) Ihrer Daten für PCA? Ich habe gehört, dass dies die Mathematik erleichtert oder verhindert, dass der erste PC von den Variablen dominiert wird, aber ich habe das Gefühl, dass ich das Konzept noch nicht richtig verstanden habe. Zum Beispiel die …

30 r pca svd eigenvalues centering

4

Warum bevorzugt Andrew Ng SVD und nicht EIG der Kovarianzmatrix, um PCA zu machen?

Ich studiere PCA von Andrew Ngs Coursera-Kurs und anderen Materialien. In der ersten Aufgabe des Stanford NLP-Kurses cs224n und im Vorlesungsvideo von Andrew Ng wird anstelle der Eigenvektorzerlegung der Kovarianzmatrix eine Singulärwertzerlegung durchgeführt, und Ng sagt sogar, dass SVD numerisch stabiler ist als eigendecomposition. Nach meinem Verständnis sollten wir für …

29 pca linear-algebra svd eigenvalues numerics

1

Warum gibt es nur

Wenn in PCA die Anzahl der Dimensionen größer als (oder sogar gleich) die Anzahl der Abtastwerte , warum haben Sie dann höchstens Nicht-Null-Eigenvektoren? Mit anderen Worten, der Rang der Kovarianzmatrix unter den Dimensionen ist .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Beispiel: Ihre Stichproben sind vektorisierte Bilder mit der Dimension , aber Sie haben nur …

22 pca dimensionality-reduction eigenvalues

1

Was bedeuten die Eigenvektoren einer gegenseitigen Informationsmatrix?

Wenn wir die Eigenvektoren der Kovarianzmatrix betrachten, erhalten wir die Richtungen der maximalen Varianz (der erste Eigenvektor ist die Richtung, in der die Daten am stärksten variieren, usw.); Dies wird als Hauptkomponentenanalyse (PCA) bezeichnet. Ich fragte mich, was es bedeuten würde, auf die Eigenvektoren / Werte der gegenseitigen Informationsmatrix zu …

14 pca entropy mutual-information eigenvalues

1

Erklären Sie, wie "eigen" beim Invertieren einer Matrix hilft

Meine Frage bezieht sich auf eine in geoR:::.negloglik.GRFoder ausgenutzte Berechnungstechnik geoR:::solve.geoR. In einem linearen gemischten Modellaufbau gilt: Y=Xβ+Zb+eY=Xβ+Zb+e Y=X\beta+Zb+e wobei ββ\beta und bbb die festen bzw. zufälligen Effekte sind. Auch ist Σ=cov(Y)Σ=cov(Y)\Sigma=\text{cov}(Y) Bei der Abschätzung der Effekte muss berechnet werden, was normalerweise mit etwas wie , aber manchmal ist fast …

13 r eigenvalues matrix-decomposition matrix-inverse cholesky

1

Warum liefern Eigen- und Svd-Zerlegungen einer Kovarianzmatrix, die auf spärlichen Daten basieren, unterschiedliche Ergebnisse?

Ich versuche, eine Kovarianzmatrix zu zerlegen, die auf einem dünn besetzten Datensatz basiert. Ich bemerke, dass die Summe von Lambda (erklärte Varianz), wie sie mit berechnet svdwird, mit zunehmend unsteten Daten verstärkt wird. Ohne Lücken, svdund eigendie gleichen Ergebnisse yeild. Dies scheint bei einer eigenZersetzung nicht zu passieren . Ich …

12 r svd eigenvalues

3

Ist jede Korrelationsmatrix positiv eindeutig?

Ich spreche hier von Matrizen von Pearson-Korrelationen. Ich habe oft gehört, dass alle Korrelationsmatrizen positiv semidefinit sein müssen. Mein Verständnis ist, dass positive bestimmte Matrizen Eigenwerte , während positive semidefinite Matrizen Eigenwerte ≥ 0 haben müssen . Dies lässt mich denken, dass meine Frage wie folgt umformuliert werden kann: "Können …

11 covariance-matrix eigenvalues correlation-matrix

1

Verwirrt über die visuelle Erklärung von Eigenvektoren: Wie können visuell unterschiedliche Datensätze dieselben Eigenvektoren haben?

Viele Statistiklehrbücher bieten eine intuitive Illustration der Eigenvektoren einer Kovarianzmatrix: Die Vektoren u und z bilden die Eigenvektoren (also Eigenachsen). Das macht Sinn. Was mich jedoch verwirrt, ist, dass wir Eigenvektoren aus der Korrelationsmatrix extrahieren , nicht die Rohdaten. Darüber hinaus können sehr unterschiedliche Rohdatensätze identische Korrelationsmatrizen aufweisen. Zum Beispiel …

10 correlation pca covariance-matrix eigenvalues

1

In einem Artikel wird eine „Monte-Carlo-Simulation zur Bestimmung der Anzahl der Hauptkomponenten“ erwähnt. wie funktioniert es?

Ich mache eine Matlab-Analyse von MRT-Daten, bei der ich eine PCA mit einer Matrixgröße von 10304 x 236 durchgeführt habe, wobei 10304 die Anzahl der Voxel (stellen Sie sich diese als Pixel vor) und 236 die Anzahl der Zeitpunkte ist. Die PCA gibt mir 236 Eigenwerte und ihre zugehörigen Koeffizienten. …

10 pca eigenvalues neuroimaging

2

Warum maximiert PCA die Gesamtvarianz der Projektion?

Christopher Bishop schreibt in seinem Buch Pattern Recognition and Machine Learning einen Beweis dafür, dass jede aufeinanderfolgende Hauptkomponente die Varianz der Projektion auf eine Dimension maximiert, nachdem die Daten in den orthogonalen Raum zu den zuvor ausgewählten Komponenten projiziert wurden. Andere zeigen ähnliche Beweise. Dies beweist jedoch nur, dass jede …

10 machine-learning variance pca dimensionality-reduction eigenvalues

1

Was ist der Hauptunterraum in der probabilistischen PCA?

Wenn XXX eine beobachtete Datenmatrix ist und YYY eine latente Variable ist, dann X=WY+μ+ϵX=WY+μ+ϵX=WY+\mu+\epsilon Wobei μμ\mu der Mittelwert der beobachteten Daten ist und ϵϵ\epsilon der Gaußsche Fehler / Rauschen in Daten ist und WWW als Hauptunterraum bezeichnet wird. Meine Frage ist, wenn normale PCA verwendet wird, würden wir einen Satz …

10 machine-learning pca latent-variable eigenvalues

2

Warum kann ich keine gültige SVD von X durch Eigenwertzerlegung von XX 'und X'X erhalten?

Ich versuche SVD von Hand zu machen: m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3) U=eigen(m%*%t(m))$vector V=eigen(t(m)%*%m)$vector D=sqrt(diag(eigen(m%*%t(m))$values)) U1=svd(m)$u V1=svd(m)$v D1=diag(svd(m)$d) U1%*%D1%*%t(V1) U%*%D%*%t(V) Die letzte Zeile kehrt jedoch nicht mzurück. Warum? Es scheint etwas mit Anzeichen dieser Eigenvektoren zu tun zu haben ... Oder habe ich das Verfahren falsch verstanden?

9 r svd eigenvalues

Als «eigenvalues» getaggte Fragen