Als «linear-algebra» getaggte Fragen

Ein Gebiet der Mathematik, das sich mit der Untersuchung endlicher dimensionaler Vektorräume einschließlich Matrizen und ihrer Manipulation befasst, die für die Statistik wichtig sind.

9
Warum die plötzliche Faszination für Tensoren?
In letzter Zeit ist mir aufgefallen, dass viele Leute Tensoräquivalente vieler Methoden entwickeln (Tensorfaktorisierung, Tensorkerne, Tensoren für Themenmodellierung usw.). Ich frage mich, warum die Welt plötzlich von Tensoren fasziniert ist. Gibt es kürzlich erschienene Artikel / Standardergebnisse, die besonders überraschend sind und dies bewirkten? Ist es rechnerisch viel billiger als …
5
Was ist eine intuitive Erklärung dafür, wie sich PCA von einem geometrischen Problem (mit Abständen) zu einem linearen Algebraproblem (mit Eigenvektoren) entwickelt?
Ich habe viel über PCA gelesen, einschließlich verschiedener Tutorials und Fragen (wie diese , diese , diese und diese ). Das geometrische Problem, das PCA zu optimieren versucht, ist mir klar: PCA versucht, die erste Hauptkomponente durch Minimierung des Rekonstruktionsfehlers (Projektionsfehlers) zu finden, wodurch gleichzeitig die Varianz der projizierten Daten …
3
Was ist die Intuition hinter SVD?
Ich habe über Singular Value Decomposition (SVD) gelesen. In fast allen Lehrbüchern wird erwähnt, dass es die Matrix in drei Matrizen mit gegebener Spezifikation zerlegt. Aber was ist die Intuition hinter der Aufspaltung der Matrix in einer solchen Form? PCA und andere Algorithmen zur Dimensionsreduzierung sind in dem Sinne intuitiv, …
3
Warum liefert die Inversion einer Kovarianzmatrix teilweise Korrelationen zwischen Zufallsvariablen?
Ich habe gehört, dass partielle Korrelationen zwischen Zufallsvariablen gefunden werden können, indem die Kovarianzmatrix invertiert und entsprechende Zellen aus dieser resultierenden Präzisionsmatrix entnommen werden (diese Tatsache wird in http://en.wikipedia.org/wiki/Partial_correlation erwähnt , aber ohne Beweis). . Warum ist das so?
3
Warum ist eine Stichproben-Kovarianzmatrix singulär, wenn die Stichprobengröße kleiner als die Anzahl der Variablen ist?
Angenommen, ich habe eine ppp dimensionale multivariate Gauß-Verteilung. Und ich nehme nnn Beobachtungen (jeder von ihnen ein ppp -vector) aus dieser Verteilung berechnen , und die Probe Kovarianzmatrix SSS . In dieser Arbeit geben die Autoren an, dass die mit berechnete Kovarianzmatrix der Stichprobe p>np>np > nsingulär ist. Wie ist …
4
Warum bevorzugt Andrew Ng SVD und nicht EIG der Kovarianzmatrix, um PCA zu machen?
Ich studiere PCA von Andrew Ngs Coursera-Kurs und anderen Materialien. In der ersten Aufgabe des Stanford NLP-Kurses cs224n und im Vorlesungsvideo von Andrew Ng wird anstelle der Eigenvektorzerlegung der Kovarianzmatrix eine Singulärwertzerlegung durchgeführt, und Ng sagt sogar, dass SVD numerisch stabiler ist als eigendecomposition. Nach meinem Verständnis sollten wir für …
3
Verteilung von Skalarprodukten zweier zufälliger Einheitsvektoren in Dimensionen
Wenn und zwei unabhängige zufällige Einheitsvektoren in (gleichmäßig auf einer Einheitskugel verteilt), wie lautet die Verteilung ihres Skalarprodukts (Skalarprodukt) ?xx\mathbf{x}yy\mathbf{y}RDRD\mathbb{R}^Dx⋅yx⋅y\mathbf x \cdot \mathbf y Ich vermute, als wächst, wird die Verteilung schnell normal (?), Wobei der Mittelwert Null und die Varianz in höheren Dimensionen abnehmen. aber gibt es eine explizite …
3
Seltsame Korrelationen in den SVD-Ergebnissen von Zufallsdaten; Haben sie eine mathematische Erklärung oder handelt es sich um einen LAPACK-Fehler?
Ich beobachte ein sehr seltsames Verhalten beim SVD-Ergebnis von Zufallsdaten, das ich sowohl in Matlab als auch in R reproduzieren kann. Es scheint ein numerisches Problem in der LAPACK-Bibliothek zu sein. ist es? Ich ziehe Proben aus dem dimensionalen Gaußschen mit dem Mittelwert Null und der Identitätskovarianz: . Ich setze …
1
Geometrisches Verständnis von PCA im Subjektraum
Ich versuche ein intuitives Verständnis dafür zu bekommen, wie die Hauptkomponentenanalyse (PCA) im Subjekt- (Doppel-) Raum funktioniert . Betrachten 2D - Datensatz mit zwei Variablen, x1x1x_1 und x2x2x_2 , und nnn Datenpunkte (Datenmatrix XX\mathbf X ist n×2n×2n\times 2 und wird angenommen, zentriert werden). Die übliche Darstellung von PCA ist, dass …
1
Wie werden die Daten mithilfe der Hauptkomponentenanalyse aufgehellt?
Ich möchte meine Daten so transformieren, dass die Varianzen eins und die Kovarianzen null sind (dh ich möchte die Daten aufhellen). Außerdem sollte das Mittel Null sein.XX\mathbf X Ich weiß, dass ich durch Z-Standardisierung und PCA-Transformation dorthin komme, aber in welcher Reihenfolge sollte ich sie durchführen? Ich sollte hinzufügen, dass …
2
Warum ist die Fisher Information Matrix positiv semidefinit?
Lassen Sie . Die Fisher Information Matrix ist definiert als:θ ∈ Rnθ∈Rn\theta \in R^{n} ich( θ )ich , j= - E[ ∂2Log( f( X| θ))∂θich∂θj∣∣∣θ ]ich(θ)ich,j=-E[∂2Log⁡(f(X|θ))∂θich∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Wie kann ich nachweisen, dass die Fisher Information Matrix positiv semidefinit ist?
1
Multivariate normale posterior
Dies ist eine sehr einfache Frage, aber ich kann die Ableitung nirgendwo im Internet oder in einem Buch finden. Ich würde gerne sehen, wie ein Bayesianer eine multivariate Normalverteilung aktualisiert. Zum Beispiel: Stellen Sie sich das vor P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.