Faustregel für spärliche oder dichte Matrixspeicherung

Angenommen, ich kenne die erwartete Sparsamkeit einer Matrix (dh die Anzahl der Nicht-Nullen / die insgesamt mögliche Anzahl der Nicht-Nullen). Gibt es eine Faustregel (möglicherweise eine ungefähre Angabe) für die Entscheidung, ob ein spärlicher Matrixspeicher (insbesondere ein komprimierter Zeilenspeicher) verwendet oder als dichte Matrix gespeichert werden soll?

1. Geschwindigkeit ist in meiner Anwendung wichtiger als Speicher. Aus allgemeiner Neugier bin ich jedoch an Antworten aus Sicht der Geschwindigkeit und des Gedächtnisses interessiert.
2. Nach dem Generieren der Matrix wende ich nur Additions- und Multiplikationsoperationen darauf an.
3. Ich konnte nur qualitative Antworten finden, zB diese Frage und diese Frage, aber ich suche nach so etwas

... wenn die Sparsity mehr als ungefähr beträgt , verwenden Sie dichten Speicher.$x\%$

Alle Matrixoperationen sind auf heutigen Prozessoren speichergebunden (und nicht rechnergebunden). Grundsätzlich müssen Sie sich fragen, in welchem ​​Format weniger Bytes gespeichert sind. Dies ist einfach zu berechnen:

• Für eine vollständige Matrix speichern Sie 8 Bytes (ein Doppel) pro Eintrag
• Für eine dünn besetzte Matrix speichern Sie 12 Bytes pro Eintrag (ein Double für den Wert und eine Ganzzahl für den Spaltenindex des Eintrags).

Mit anderen Worten, wenn Ihre Sparsity unter 67% liegt - dh für fast jede Matrix, die eine vernünftige Person als sparse bezeichnen würde -, führt das sparse-Matrix-Format nicht nur zu einer besseren Speichernutzung, sondern auch zu einer besseren Rechenzeit.

Für zufällige spärliche Matrizen der Größe 10.000 x 10.000 im Vergleich zu dichten Matrizen der gleichen Größe war auf meiner Xeon-Workstation mit MATLAB und Intel MKL als BLAS die Multiplikation des spärlichen Matrixvektors bei Dichten von 15% schneller oder weniger. Mit 67% (wie in einer anderen Antwort vorgeschlagen ) war die dichte Matrix-Vektor-Multiplikation etwa dreimal schneller.

Selbst wenn eine Matrix sehr dünn ist, kann ihr Matrixprodukt mit sich selbst dicht sein. Nehmen Sie zum Beispiel eine Diagonalmatrix und füllen Sie ihre erste Zeile und Spalte mit Einträgen ungleich Null. sein Produkt mit sich selbst wird vollständig dicht sein. Eine solche Matrix kann beispielsweise als Graph Laplace eines Graphen entstehen, in dem sich ein Scheitelpunkt befindet, der mit allen anderen Scheitelpunkten verbunden ist. In der Praxis reicht es aus, wenn es nur wenige Eckpunkte mit ziemlich hoher Konnektivität zum Rest des Netzwerks gibt. Für die Matrixvektormultiplikation ist dieses Phänomen weniger relevant, obwohl es zu Ungleichgewichten führen kann, wenn versucht wird, die Matrixvektormultiplikation zu parallelisieren.

Was ich hervorheben möchte: Es hängt wirklich vom Sparsity-Muster ab und davon, was Sie mit der Matrix machen möchten. Die beste Definition einer spärlichen Matrix, die ich finden kann (die gleichzeitig ziemlich nutzlos ist), lautet also wie folgt:

Eine Matrix ist spärlich, wenn es vorteilhaft ist, nur ihre Werte ungleich Null und ihre Positionen zu speichern und den zusätzlichen Aufwand zu investieren, der durch die Verwaltung der entstehenden Datenstruktur entsteht.

Die Lektion zu lernen: Es hängt wirklich davon ab, was Sie damit machen möchten , welchen Algorithmus Sie verwenden und (wie andere bereits betont haben) welche Hard- und Software Sie verwenden, ob eine bestimmte Matrix spärlich ist oder nicht (lesen Sie als: ob Sie eine spärliche oder dichte Matrixdatenstruktur verwenden sollten). Es kann keine rein prozentuale Regel geben, wenn es nicht nur um das Speichern von Daten oder die Multiplikation von Matrixvektoren geht. Der beste Weg, um herauszufinden, ob Ihre Matrizen spärlich sind, besteht darin, es zu versuchen und mit Methoden mit dichter Matrix zu vergleichen.