Was ist die Worst-Case-Komplexität von Conjugate Gradient?

9

Sei , symmetrisch und positiv definit. Angenommen, es sind Arbeitseinheiten erforderlich, um einen Vektor mit zu multiplizieren . Es ist bekannt, dass das Ausführen des CG-Algorithmus für mit der Bedingungsnummer Arbeitseinheiten erfordert . $A\in \mathbb{R}^{n\times n}$ $m$ $A$ $A$ $\kappa$ $\mathcal{O} (m\sqrt{\kappa})$

Als -Anweisung ist dies natürlich eine Obergrenze. Und der CG-Algorithmus kann immer in null Schritten mit einer glücklichen anfänglichen Vermutung enden. $\mathcal{O}$

Wissen wir, ob es eine RHS und eine erste (unglückliche) Vermutung gibt, die Schritte erfordert ? Anders ausgedrückt: Ist die Worst-Case-Arbeitskomplexität von CG wirklich ? $\mathcal{\Theta}(\sqrt{\kappa})$ $\Theta( m \sqrt{\kappa})$

Diese Frage stellt sich, als ich feststellen wollte, ob der Nutzen eines Vorkonditionierers (niedriger ) seine Kosten (höher ) überwog . Im Moment arbeite ich mit Spielzeugproblemen und möchte eine bessere Idee haben, bevor ich etwas in einer kompilierten Sprache implementiere. $\kappa$ $m$

conjugate-gradient

— Fred
quelle

5

Sie könnten vermutlich eine pessimale Anfangsschätzung konstruieren, indem Sie den CG-Algorithmus "rückwärts" ausführen und geeignete Energie in jede der orthogonalen Suchrichtungen einbringen, für die der Algorithmus alle Schritte benötigt.

A

$A$

— Origimbo

9

Die Antwort ist ein klares Ja. Die Konvergenzratengrenze von ist scharf über der Menge symmetrischer positiver bestimmter Matrizen mit der Bedingungsnummer. Mit anderen Worten,CGweiß nichts mehr überals seine Bedingungsnummer und kann wirklich $(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ $\kappa$ $A$ Iterationen zu konvergieren. Locker gesagt wird die Obergrenze erreicht, wenn die Eigenwerte voninnerhalb eines Intervalls der Bedingungsnummergleichmäßig verteilt (dh "gepfeffert") sind. $\sim\sqrt{\kappa}$ $A$ $\kappa$

Hier ist eine strengere Aussage. Deterministische Versionen sind komplizierter, arbeiten jedoch nach denselben Prinzipien.

Satz (Worst-Case-Wahl von ). Pick jede beliebige orthogonale Matrix , lassen sein , reelle Zahlen einheitlich aus dem realen Intervall abgetastet , und sei seien reelle Zahlen, die aus dem Standard-Gaußschen abgetastet wurden. Definiere $A$ $U$ $\lambda_1,\ldots,\lambda_n$ $n$ $[1,\kappa]$ $b=[b_1;\ldots;b_n]$ $n$ Dannkonvergieren konjugierte Gradientenin der Grenze mit der Wahrscheinlichkeit eins zu einer genauen Lösung von in nicht weniger als

A = U d i a g (λ_{1}, \dots, λ_{n}) U^{T} .

$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$

n \to \infty

$n\to\infty$

ϵ

$\epsilon$

A x = b

$Ax=b$

Iterationen.

Ω (\sqrt{κ} \log ϵ^{- 1})

$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$

Beweis. Der Standardbeweis basiert auf optimalen Chebyshev-Polynomnäherungen unter Verwendung von Techniken, die an einer Reihe von Stellen zu finden sind, wie beispielsweise Greenbaums Buch oder Saads Buch .

— Richard Zhang
quelle

1

Die Grenze ist nicht scharf, wie die Antwort später erklärt: Wenn die Eigenwerte nicht gleichmäßig verteilt sind, konvergiert cg schneller, da es sich nicht um eine Stationalitätsiteration handelt. Daher müssen wir mehr über die Matrix wissen.

— Guido Kanschat

@ GuidoKanschat: Guter Punkt, und ich habe die Aussage korrigiert, um zu verdeutlichen, dass die Schärfe über alle

mit der Bedingung

.

A

$A$

κ

$\kappa$

— Richard Zhang

‖ p (A) ‖

$\|p(A)\|$

k

$k$

p (0) = 1

$p(0)=1$

min_{p} max_{λ \in Λ (A)} | p (λ) |

$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$

Λ (A) \to [1, κ]

$\Lambda(A)\to[1,\kappa]$

\sim \sqrt{κ}

$\sim\sqrt{\kappa}$

0

Nehmen wir dies als meine ursprüngliche Frage: Wissen wir, ob es eine RHS und eine anfängliche (unglückliche) Vermutung gibt, die Schritte erfordert ? $\Theta(\sqrt{\kappa})$

Die Antwort auf die Frage lautet "nein". Die Idee zu dieser Antwort stammt aus dem Kommentar von Guido Kanschat.

Behauptung: Für jede gegebene Bedingungsnummer existiert eine Matrix mit dieser Bedingungsnummer, für die der CG-Algorithmus in höchstens zwei Schritten endet (für jede gegebene RHS und anfängliche Schätzung). $k$ $A$

Betrachten Sie wobei . Dann wird die Konditionszahl von ist . Sei die RHS und bezeichne die Eigenwerte von als wobei $A\in \mathbb{R}^{n\times n}$ $A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$ $A$ $\kappa$ $b\in \mathbb{R}^n$ $A$ $\lambda_i$

λ_{i} = {\begin{cases} 1 & i = 1 \\ κ & i \neq 1 \end{cases} .

$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$

Wir betrachten zunächst den Fall, in dem , die anfängliche Vermutung, Null ist. Bezeichne als zweite Schätzung von aus dem CG-Algorithmus. Wir zeigen, dass indem wir . In der Tat haben wir $x^{(0)} \in \mathbb{R}^n$ $x^{(2)}\in \mathbb{R}^n$ $A^{-1}b$ $x^{(2)} =A^{-1}b$ $\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

\begin{aligned} ⟨ x^{(2)} - A^{- 1} b, A (x^{(2)} - A^{- 1} b) ⟩ & = {‖ x^{(2)} - A^{- 1} b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} {‖ (p (A) - A^{- 1}) b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} \sum_{i = 1}^{n} (p (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} \\ \leq \sum_{i = 1}^{n} (\hat{p} (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} = 0 \end{aligned}

$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$

Wo wir das Polynom erster Ordnung definiert als . Also haben wir den Fall für bewiesen . $\widehat{p}$ $\widehat{p}(x)= (1+\kappa-x)/\kappa$ $x^{(0)}= 0$

Wenn , dann ist wobei ist die zweite Schätzung des CG-Algorithmus, wobei durch . Deshalb haben wir diesen Fall auf den vorherigen reduziert. $x^{(0)} \not = 0$ $x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$ $\overline{x^{(2)} }$ $b$ $\overline{b} = b-A x^{(0)}$

— Fred
quelle

Wie viel davon ist robust gegenüber endlicher Präzisionsarithmetik?

— Origimbo

@origimbo Wenn Ihre Frage an mich gerichtet war, lautet die Antwort: "Ich weiß es nicht."

— Fred