Verstehen, wie Numpy SVD macht

Ich habe verschiedene Methoden verwendet, um sowohl den Rang einer Matrix als auch die Lösung eines Matrixgleichungssystems zu berechnen. Ich bin auf die Funktion linalg.svd gestoßen. Vergleicht man dies mit meiner eigenen Anstrengung, das System mit der Gaußschen Eliminierung zu lösen, scheint es sowohl schneller als auch präziser zu sein. Ich versuche zu verstehen, wie das möglich ist.

Soweit ich weiß, verwendet die Funktion linalg.svd einen QR-Algorithmus, um die Eigenwerte meiner Matrix zu berechnen. Ich weiß, wie das mathematisch funktioniert, aber ich weiß nicht, wie Numpy es so schnell und ohne großen Genauigkeitsverlust schafft.

Also meine Frage: Wie funktioniert die Funktion numpy.svd und wie gelingt es, dies schnell und genau zu tun (im Vergleich zur Gauß-Eliminierung)?

Ihre Frage enthält eine Reihe von Problemen.

Verwenden Sie nicht die Gaußsche Eliminierung (LU-Faktorisierung), um den numerischen Rang einer Matrix zu berechnen. Die LU-Faktorisierung ist für diesen Zweck in der Gleitkommaarithmetik unzuverlässig. Verwenden Sie stattdessen eine rangaufschlussreiche QR-Zerlegung (z. B. xGEQPXoder xGEPQYin LAPACK, wobei x C, D, S oder Z ist, obwohl diese Routinen schwer zu finden sind; siehe die Antwort von JedBrown zu einer verwandten Frage ), oder verwenden Sie eine SVD (Singulärwertzerlegung wie xGESDDoder xGESVD, wobei x wieder C, D, S oder Z ist). Die SVD ist ein genauerer, zuverlässigerer Algorithmus zur Bestimmung des numerischen Ranges, erfordert jedoch mehr Gleitkommaoperationen.

Für die Lösung eines linearen Systems ist die LU-Faktorisierung (mit partiellem Schwenken, die Standardimplementierung in LAPACK) in der Praxis äußerst zuverlässig. Es gibt einige pathologische Fälle, in denen die LU-Faktorisierung mit partiellem Schwenken instabil ist (siehe Vorlesung 22 in Numerical Linear Algebra)von Trefethen und Bau für Details). Die QR-Faktorisierung ist ein stabilerer numerischer Algorithmus zum Lösen linearer Systeme, weshalb Sie wahrscheinlich so genaue Ergebnisse erhalten. Es erfordert jedoch mehr Gleitkommaoperationen als eine LU-Faktorisierung um den Faktor 2 für quadratische Matrizen (ich glaube, JackPoulson kann mich diesbezüglich korrigieren). Für rechteckige Systeme ist die QR-Faktorisierung die bessere Wahl, da sie Lösungen mit den kleinsten Quadraten für überbestimmte lineare Systeme liefert. SVD kann auch zum Lösen linearer Systeme verwendet werden, ist jedoch teurer als die QR-Faktorisierung.

janneb ist richtig, dass numpy.linalg.svd ein Wrapper xGESDDin LAPACK ist. Singulärwertzerlegungen laufen in zwei Stufen ab. Zunächst wird die zu zersetzende Matrix in eine bidiagonale Form reduziert. Der Algorithmus, der in LAPACK zum Reduzieren auf Bidiagonalform verwendet wird, ist wahrscheinlich der Lawson-Hanson-Chan-Algorithmus und verwendet an einem Punkt die QR-Faktorisierung. Die Vorlesung 31 in Numerical Linear Algebra von Trefethen und Bau gibt einen Überblick über diesen Prozess. Dann xGESDDwird ein Teile-und-Herrsche - Algorithmus die Singulärwerte und linke und rechte Singulärvektoren aus der Bidiagonalmatrix zu berechnen. Um Hintergrundinformationen zu diesem Schritt zu erhalten, müssen Sie Matrix Computations von Golub und Van Loan oder Applied Numerical Linear Algebra von Jim Demmel konsultieren .

Schließlich sollten Sie singuläre Werte nicht mit Eigenwerten verwechseln . Diese beiden Mengen sind nicht gleich. Die SVD berechnet die Singularwerte einer Matrix. Cleve Molers Numerical Computing mit MATLAB gibt einen schönen Überblick über die Unterschiede zwischen Singularwerten und Eigenwerten . Im Allgemeinen gibt es keine offensichtliche Beziehung zwischen den Singularwerten einer gegebenen Matrix und ihren Eigenwerten, außer im Fall von normalen Matrizen, bei denen die Singularwerte der Absolutwert der Eigenwerte sind.

Aufgrund des Wortlauts Ihrer Frage gehe ich davon aus, dass Ihre Matrix quadratisch ist. Die SVD-Routinen von LAPACK wie zgesvd verlaufen für quadratische Matrizen im Wesentlichen in drei Schritten:

1. $U_A$$V_A$$A$$B := U_A^H A V_A$$U_A$$V_A$$B$$O(n^3)$
2. $\{U_B,V_B,\Sigma\}$$B = U_B \Sigma V_B^H$$O(n^2)$$O(n^3)$
3. $U_A B V_A^H = A$$A = (U_A U_B) \Sigma (V_A V_B)^H$$U_A$$V_A$$U_B$$V_B$$O(n^3)$

numpy.linalg.svd ist ein Wrapper um {Z, D} GESDD von LAPACK. LAPACK wiederum wurde von einigen der weltweit führenden Experten für numerische lineare Algebra mit größter Sorgfalt geschrieben. Es wäre in der Tat sehr überraschend, wenn es jemandem, der mit dem Gebiet nicht vertraut ist, gelingen würde, LAPACK zu schlagen (entweder in Bezug auf Geschwindigkeit oder Genauigkeit).

Warum QR besser ist als Gaußsche Eliminierung, ist wahrscheinlich besser geeignet für /scicomp//