Was ist der beste Weg, um die Singulärwertzerlegung (SVD) einer sehr großen positiven Matrix (65M x 3,4M) zu berechnen, bei der die Daten extrem dünn sind?
Weniger als 0,1% der Matrix ist nicht Null. Ich brauche einen Weg, der:
- passt in den Speicher (ich weiß, dass Online-Methoden existieren)
- wird in einer angemessenen Zeit berechnet: 3,4 Tage
- wird genau genug sein, aber Genauigkeit ist nicht mein Hauptanliegen und ich möchte in der Lage sein zu kontrollieren, wie viel Ressourcen ich in sie stecke.
Es wäre toll, eine Haskell-, Python-, C # - usw. Bibliothek zu haben, die diese implementiert. Ich benutze weder Mathlab noch R, kann aber bei Bedarf mit R gehen.
3
Wie viel Gedächtnis hast du? 0,1% von 65M * 3,4M sind immer noch 221e9 Werte ungleich Null. Wenn Sie 4 Bytes pro Wert verwenden, sind das immer noch mehr als 55 GB, vorausgesetzt, es entsteht kein Overhead, sodass das Problem durch die geringe Speicherkapazität immer noch nicht behoben wird. Müssen Sie den gesamten Satz auf einmal in den Speicher laden?
—
Bitweise
Ich hätte präziser sein sollen. Nicht mehr als 250-500 MB mit 32-Bit-Ganzzahl. Wahrscheinlich viel weniger, aber die Dimensionalität ist das Problem, wie ich es verstehe. Ich habe eine 16GB Maschine.
—
Sonia
Wie wäre es damit? quora.com/…
—
Bitwise
Diese Webseite verweist auf eine Python-Bibliothek, die "einen schnellen, inkrementellen SVD-Algorithmus mit geringem Arbeitsspeicher und großer Matrix"
—
implementiert