Lösen eines Systems mit einem kleinen Rangdiagonal-Update

Angenommen, ich habe das ursprüngliche große, spärliche lineare System: . Nun, ich habe nicht als ein zu groß , um Faktor oder jede Art von Zersetzung ist , aber davon ausgehen , dass ich habe die Lösung mit einem gefunden iterativen lösen. $A\textbf{x}_0=\textbf{b}_0$ $A^{-1}$ $A$ $\textbf{x}_0$

Jetzt möchte ich eine kleine Rangaktualisierung auf die Diagonale von A anwenden (einige der diagonalen Einträge ändern): wobei eine Diagonalmatrix ist, auf deren Diagonale meistens Nullen und einige wenige liegen Werte ungleich Null. Wenn ich hätte, könnte ich die Woodbury-Formel nutzen, um ein Update auf die Inverse anzuwenden. Ich habe dies jedoch nicht zur Verfügung. Kann ich irgendetwas tun, ohne das gesamte System erneut aufzulösen? Gibt es vielleicht eine Möglichkeit, einen Vorkonditionierer der leicht zu invertieren ist, so dass $(A+D)\textbf{x}_1=\textbf{b}_0$ $D$ $A^{-1}$ $M$ , so dass alles, was ich tun müsste, wenn ich , anwendenwürde und eine iterative Methode in ein paar / wenigen Iterationen konvergieren würde? $MA_1 \approx A_0$ $\textbf{x}_0$ $M^{-1}$

linear-algebra iterative-method sparse-matrix

— Costis
quelle

Beginnen Sie mit einem guten Vorkonditionierer für

und möchten wissen, wie Sie ihn aktualisieren können? Welchen Rang hat das Update? (Ein Update mit Rang

ist "klein" im Vergleich zu einer Matrix der Größe

aber nicht klein in Bezug auf die Anzahl der Iterationen.)

A

$A$

1000

$1000$

10^{9}

$10^9$

— Jed Brown

hat eine Größe von

bis

und das Update umfasst <1000 (wahrscheinlich <100) Elemente. Ich verwende einen diagonalen Vorkonditionierer für A, der sehr gut funktioniert. Eine Aktualisierung wäre also trivial, aber ich habe mich gefragt, ob ich etwas Besseres tun kann, als das neue System von Grund auf neu aufzulösen.

A

$A$

10^{6}

$10^6$

10^{7}

$10^7$

— Costis

Die Lösung eines Systems sagt nicht viel darüber aus. Wenn Sie dasselbe System mehrmals lösen, erhalten Sie anhand der inversen Karte dieser Vektoren (und / oder der zugehörigen Krylov-Räume) einige Informationen, mit denen Sie die Konvergenz beschleunigen können. Wie viele Systeme lösen Sie jeweils?

— Jed Brown

Derzeit bin ich die Lösung nur für einen RHS (

- Vektor) mit jeder

- Matrix vor der Modifikation

b

$\textbf{b}$

A

$A$

A

$A$

— Costis

Speichern Sie in den Spalten zweier Matrizen und alle Vektoren auf die Sie die Matrix in den vorherigen Iterationen angewendet haben, und die Ergebnisse . $B$ $C$ $b_j$ $c_j=Ab_j$
Lösen Sie für jedes neue System (oder , was der Sonderfall ) ungefähr das überbestimmte lineare System , z durch Auswahl einer Teilmenge der Zeilen (möglicherweise aller) und Verwendung einer Methode mit dichten kleinsten Quadraten. Beachten Sie, dass nur der ausgewählte Teil von zusammengebaut werden muss. Das ist also eine schnelle Operation! $(A+D)x'=b'$ $Ax=b'$ $D=0$ $(C+DB)y\approx b'$ $C+DB$
Setze . Dies ist eine gute anfängliche Näherung, mit der die Iteration zum Lösen von gestartet werden kann . Falls weitere Systeme verarbeitet werden müssen, verwenden Sie die Matrixvektorprodukte in dieser neuen Iteration, um die Matrizen und auf dem resultierenden Subsystem zu erweitern. $x_0=By$ $(A+D)x'=b'$ $B$ $C$

Wenn die Matrizen und nicht in den Hauptspeicher passen, speichern Sie auf der Festplatte und wählen Sie die Teilmenge der Zeilen im Voraus aus. Auf diese Weise können Sie den relevanten Teil von und im Kern behalten, der zur Bildung des Systems der kleinsten Quadrate erforderlich ist, und das nächste kann durch einen Durchgang durch berechnet werden, ohne dass der Kernspeicher verwendet wird. $B$ $C$ $B$ $B$ $C$ $x_0$ $B$

Die Zeilen sollten so ausgewählt werden, dass sie ungefähr einer groben Diskretisierung des gesamten Problems entsprechen. Es sollte ausreichen, fünfmal mehr Zeilen als die Gesamtzahl der erwarteten Matrixvektormultiplikationen zu verwenden.

Edit: Warum funktioniert das? Konstruktionsbedingt sind die Matrizen und durch . Wenn der Unterraum durch die Spalten der aufgespannten die exakte Lösung Vektor enthält (eine seltene , aber einfache Situation) , dann hat die Form für einige . Einsetzen dieser in die Gleichung, die definiert ergibt die Gleichung $B$ $C$ $C=AB$ $B$ $x'$ $x'$ $x'=By$ $y$ $x'$ $(C+DB)y= b'$ . In diesem Fall ergibt der obige Prozess als Ausgangspunkt , was die genaue Lösung ist. $x_0=By=x'$

Im Allgemeinen kann man nicht erwarten dass im Spaltenraum von , aber der erzeugte Startpunkt ist der Punkt in diesem Spaltenraum, der nächsten liegt , in einer Metrik, die durch die ausgewählten Zeilen bestimmt wird. Daher ist es wahrscheinlich eine sinnvolle Annäherung. Wenn mehr Systeme verarbeitet werden, wächst der Spaltenraum und die Annäherung wird sich wahrscheinlich stark verbessern, so dass man hoffen kann, in immer weniger Iterationen zu konvergieren. $x'$ $B$ $x'$

Edit2: Über den erzeugten Unterraum: Wenn man jedes System mit einer Krylov-Methode löst, überspannen die Vektoren, die verwendet werden, um den Startpunkt für das zweite System zu erhalten, den Krylov-Unterraum der ersten rechten Seite. Somit erhält man eine gute Annäherung, wenn dieser Krylov-Unterraum einen Vektor enthält, der nahe an der Lösung Ihres zweiten Systems liegt. Im Allgemeinen überspannen die Vektoren, die verwendet werden, um den Startpunkt für das -ste System zu erhalten, einen Raum, der den Krylov-Unterraum der ersten rechten Seiten enthält. $(k+1)$ $k$

— Arnold Neumaier
quelle

Vielen Dank, Prof. Neumaier. Ich werde das ausprobieren. Könnten Sie mir vielleicht eine kurze Erklärung geben, wie das funktioniert?

— Costis

Was ist auch, wenn ich dasselbe System für viele verschiedene RHS-Vektoren lösen möchte? dh

usw. Gibt es Informationen, die ich aus den vorherigen Lösungen verwenden kann, um die nachfolgenden zu beschleunigen?

A x_{0} = b_{0}

$A\textbf{x}_0=\textbf{b}_0$

A x_{1} = b_{1}

$A\textbf{x}_1=\textbf{b}_1$

A x_{2} = b_{2}

$A\textbf{x}_2=\textbf{b}_2$

— Costis

@Costis: Eine Lösung mit derselben Matrix ist nur der Sonderfall

des allgemeinen Problems. Für Ihre erste Frage siehe die Bearbeitung.

D = 0

$D=0$

— Arnold Neumaier

@Costis: Ich habe Schritt 2 etwas detaillierter hinzugefügt. - Wenn Sie den Antrag schreiben, senden Sie mir bitte einen Vorabdruck.

— Arnold Neumaier

Danke für die Erklärung! Warum kann ich das überbestimmte System

nicht einfach lösen

indem ich einen auf QR-Faktorisierung basierenden Ansatz verwende und alle Zeilen anstelle nur einer Teilmenge verwende? Ich denke, wenn die Anzahl der Spalten von C und B zunimmt, muss ich möglicherweise einige Zeilen entfernen, damit der Vorgang schneller ausgeführt wird. Klar, ich werde eine Beschreibung des Systems schreiben und diese per E-Mail an Sie senden. Ich denke tatsächlich, dass es möglich ist, ein anwendungsspezifisches Schema zu entwickeln, das möglicherweise besser funktioniert als der allgemeinste Fall. Vielen Dank!

(C + D B) y \approx b^{'}

$(C + DB)y \approx b'$

— Costis