Grundlegende Arbeiten zu Matrixzerlegungen

Ich habe kürzlich Skillicorns Buch über Matrixzerlegungen gelesen und war ein bisschen enttäuscht, da es sich an ein junges Publikum richtete. Ich möchte (für mich und andere) eine kurze Bibliographie wesentlicher Arbeiten (Umfragen, aber auch bahnbrechende Arbeiten) zu Matrixzerlegungen zusammenstellen. Was ich in erster Linie im Auge habe, ist etwas über SVD / PCA (und robuste / spärliche Varianten) und NNMF, da diese bei weitem am häufigsten verwendet werden. Haben Sie alle eine Empfehlung / einen Vorschlag? Ich halte mich zurück, um die Antworten nicht zu voreingenommen zu machen. Ich würde bitten, jede Antwort auf 2-3 Papiere zu beschränken.

PS: Ich bezeichne diese beiden Zerlegungen als die in der Datenanalyse am häufigsten verwendeten . Natürlich sind QR, Cholesky, LU und Polar in der numerischen Analyse sehr wichtig. Das ist jedoch nicht der Schwerpunkt meiner Frage.

Woher wissen Sie, dass SVD und NMF bei weitem die am häufigsten verwendeten Matrixzerlegungen sind und nicht LU, Cholesky und QR? Mein persönlicher Lieblingsdurchbruch müsste der garantierte rangaufschlussreiche QR-Algorithmus sein.

• Chan, Tony F. "Rang enthüllt QR-Faktorisierungen". Lineare Algebra und ihre Anwendungsbände 88-89, April 1987, Seiten 67-82. DOI: 10.1016 / 0024-3795 (87) 90103-0

... eine Weiterentwicklung der früheren Idee von QR mit Column-Pivoting:

• Businger, Peter; Golub, Gene H. (1965). Lineare Least Squares-Lösungen durch Householder-Transformationen. Numerische Mathematik Band 7, Nummer 3, 269-276, DOI: 10.1007 / BF01436084

A ( das ?) Klassische Lehrbuch:

• Golub, Gene H; Van Loan, Charles F. (1996). Matrix Computations (3. Aufl.), Johns Hopkins, ISBN 978-0-8018-5414-9 .

(Ich weiß, dass du nicht nach Lehrbüchern gefragt hast, aber ich kann nicht widerstehen.)

Bearbeiten: Ein bisschen mehr googeln findet ein Papier, dessen Zusammenfassung darauf hindeutet, dass wir leicht an Schweinswalen sind. Der obige Text stammt aus der Perspektive der 'numerischen linearen Algebra' (NLA). Möglicherweise beschäftigen Sie sich mehr mit der Perspektive der angewandten Statistik / Psychometrie (AS / P)? Könnten Sie vielleicht klarstellen?

• Lawrence Hubert, Jacqueline Meulman und Willem Heiser. Zwei Zwecke zur Matrixfaktorisierung: Eine historische Bewertung. SIAM Review Vol. 42, Nr. 1 (März 2000), S. 68-82

Lee und Seung beschreiben für NNMF einen iterativen Algorithmus, der sehr einfach zu implementieren ist. Tatsächlich geben sie zwei ähnliche Algorithmen an, einen zur Minimierung der Frobenius-Norm des Residuums und einen zur Minimierung der Kullback-Leibler-Divergenz der Approximation und der ursprünglichen Matrix.

• Daniel Lee, H. Sebastian Seung, Algorithmen zur nicht-negativen Matrixfaktorisierung, Fortschritte in neuronalen Informationsverarbeitungssystemen 13: Ergebnisse der Konferenz 2000. MIT Press. S. 556–562.

Vielleicht findest du interessant

1. [Lernen mit Matrixfaktorisierungen ] Doktorarbeit von Nathan Srebro,
2. [Untersuchung verschiedener Matrixfaktorisierungsmethoden für große Empfehlungssysteme] , Gábor Takács et al. und fast die gleiche Technik wie hier beschrieben

Die letzten beiden Links zeigen, wie spärliche Matrix-Faktorisierungen in Collaborative Filtering verwendet werden. Ich glaube jedoch, dass SGD-ähnliche Faktorisierungsalgorithmen an anderer Stelle nützlich sein können (zumindest sind sie extrem einfach zu codieren).

Witten, Tibshirani - Bestrafte Matrixzerlegung

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson, Rokhlin, Szlam, Tygert - Randomisierte SVD

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

Auf dem diesjährigen NIPS gab es einen kurzen Artikel über verteilte, sehr umfangreiche SVDs, die in einem Durchgang über eine Streaming-Eingangsmatrix arbeiten .

Das Papier ist eher umsetzungsorientiert, ordnet die Dinge jedoch in Bezug auf die tatsächlichen Uhrzeiten und alles andere in die richtige Perspektive ein. Die Tabelle am Anfang ist auch eine gute Übersicht.