Welches Prinzip steckt hinter der Konvergenz der Krylov-Subraummethoden zur Lösung linearer Gleichungssysteme?

Nach meinem Verständnis gibt es zwei Hauptkategorien iterativer Methoden zum Lösen linearer Gleichungssysteme:

1. Stationäre Methoden (Jacobi, Gauß-Seidel, SOR, Multigrid)
2. Krylov-Subraum-Methoden (Conjugate Gradient, GMRES usw.)

Ich verstehe, dass die meisten stationären Methoden durch iteratives Relaxieren (Glätten) der Fourier-Modi des Fehlers funktionieren. Wie ich es verstehe, funktioniert die Methode des konjugierten Gradienten (Krylov-Subraum-Methode), indem sie einen optimalen Satz von Suchrichtungen anhand der Potenzen der Matrix "durchläuft", die auf das te Residuum angewendet werden . Ist dieses Prinzip allen Krylov-Subraummethoden gemeinsam? Wenn nicht, wie charakterisieren wir das Prinzip der Konvergenz von Krylov-Subraummethoden im Allgemeinen?$n$

Im Allgemeinen suchen alle Krylov-Methoden im Wesentlichen ein Polynom, das klein ist, wenn es im Spektrum der Matrix ausgewertet wird. Insbesondere kann der te Rest einer Krylov-Methode (mit Null-Anfangsschätzung) in der Form geschrieben werden$n$

wobei ein monisches Polynom vom Grad $P_n$$n$ .

Wenn diagonalisierbar ist, haben wir mit A = V Λ V - $A$$A=V\Lambda V^{-1}$

Für den Fall, dass normal ist (z. B. symmetrisch oder einheitlich), wissen wir, dass κ ( V ) = 1. GMRES konstruiert ein solches Polynom durch Arnoldi-Iteration, während CG das Polynom unter Verwendung eines anderen inneren Produkts konstruiert (siehe diese Antwort)$A$$\kappa(V) = 1.$ für Details). . In ähnlicher Weise konstruiert BiCG sein Polynom durch den nicht symmetrischen Lanczos-Prozess, während die Chebyshev-Iteration vorherige Informationen über das Spektrum verwendet (normalerweise Schätzungen der größten und kleinsten Eigenwerte für symmetrische bestimmte Matrizen).

Betrachten Sie als cooles Beispiel (motiviert von Trefethen + Bau) eine Matrix, deren Spektrum wie folgt lautet:

In MATLAB habe ich dies konstruiert mit:

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

Wenn wir GMRES betrachten, das Polynome konstruiert, die tatsächlich den Residuum über alle monischen Polynome des Grades n minimieren , können wir die Residuumshistorie leicht vorhersagen, indem wir das Kandidatenpolynom betrachten$n$

was in unserem Fall gibt

für in dem Spektrum von A .$z$$A$

Wenn wir nun GMRES mit einer zufälligen RHS ausführen und die Residuenhistorie mit diesem Polynom vergleichen, sollten sie ziemlich ähnlich sein (die Kandidatenpolynomwerte sind kleiner als die GMRES-Residuen, weil ):$\|b\|_2 > 1$

On norms

$n^{\mathrm{th}}$ iteration, GMRES finds the polynomial $P_n$ that minimizes the $2$-norm of the residual

Suppose $A$ is SPD, so $A$ induces a norm and so does $A^{-1}$. Then

where we have used the error

Thus the $A$-norm of the error is equivalent to the $A^{-1}$ norm of the residual. Conjugate gradients minimizes the $A$-norm of the error which makes it relatively more accurate at resolving low energy modes. The $2$-norm of the residual, which GMRES minimizes, is like the $A^T A$-norm of the error, and thus is weaker in the sense that low-energy modes are less well-resolved. Note that the $A$-norm of the residual is essentially worthless because it is even weaker on low-energy modes.

Sharpness of convergence bounds

Finally, there is interesting literature regarding different Krylov methods and subtleties of GMRES convergence, especially for non-normal operators.

• Nachtigal, Reddy, and Trefethen (1992) How fast are nonsymmetric matrix iterations? (author's pdf) gives examples of matrices for which one method beats all others by a large factor (at least the square root of the matrix size).

• Embree (1999) How descriptive are GMRES convergence bounds? gives an insightful discussion in terms of pseudospectra which give sharper bounds and also applies to non-diagonalizable matrices.

• Embree (2003) The tortoise and the hare restart GMRES (author pdf)

• Greenbaum, Pták, and Strakoš (1996) Any nonincreasing convergence curve is possible for GMRES

Iterative methods in a nutshell:

1. Stationary methods are in essence fixed point iterations: To solve $Ax=b$, you pick an invertible matrix $C$ and find a fixed point of

   $$x = x + Cb- CAx$$ This converges by Banach's fixed point theorem if $\|I-CA\|<1$. The various methods then correspond to a specific choice of $C$ (e.g., for Jacobi iteration, $C=D^{-1}$, where $D$ is a diagonal matrix containing the diagonal elements of $A$).

2. Krylov methods subspace methods are in essence projection methods: You pick subspaces $U,V\subset \mathbb{C}^n$ and look for a $\tilde x \in U$ such that the residual $b-A\tilde x$ is orthogonal to $V$. For Krylov methods, $U$ of course is the space spanned by powers of $A$ applied to an initial residual. The various methods then correspond to specific choices of $V$ (e.g., $V=U$ for CG and $V=AU$ for GMRES).

   The convergence properties of these methods (and projection methods in general) follow from the fact that due to the respective choice of $V$, the $\tilde x$ are optimal over $U$ (e.g., they minimize the error in the energy norm for CG or the residual for GMRES). If you increase the dimension of $U$ in every iteration, you are guaranteed (in exact arithmetic) to find the solution after finitely many steps.

   As pointed out by Reid Atcheson, using Krylov spaces for $U$ allows you to prove rates of convergence in terms of the eigenvalues (and thus the condition number) of $A$. In addition, they are crucial for deriving efficient algorithms for computing the projection $\tilde x$.

   This is nicely explained in Youcef Saad's book on iterative methods.