Gradientenabstieg und konjugierter Gradientenabstieg

Für ein Projekt muss ich diese beiden Methoden implementieren und vergleichen, wie sie für verschiedene Funktionen funktionieren.

Es sieht so aus, als ob die konjugierte Gradientenmethode dazu gedacht ist, lineare Gleichungssysteme des for zu lösen

$$A\mathbf{x} = \mathbf{b}$$

Wobei eine n-mal-n-Matrix ist, die symmetrisch, positiv-definitiv und real ist.$A$

Auf der anderen Seite, wenn ich gelesen Gradientenabfallsaktualisierung sehe ich das Beispiel der Funktion Rosenbrock- , das ist

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

Aus meiner Sicht kann ich dies nicht mit einer konjugierten Gradientenmethode lösen. Oder vermisse ich etwas?

Gradient Descent und die konjugierte Gradientenmethode sind beide Algorithmen zur Minimierung nichtlinearer Funktionen, dh Funktionen wie die Rosenbrock-Funktion

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

oder eine multivariate quadratische Funktion (in diesem Fall mit einem symmetrischen quadratischen Term)

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

Beide Algorithmen sind auch iterativ und suchrichtungsbasiert. Für den Rest dieses Beitrags sind und Vektoren der Länge ; und sind Skalare, und hochgestellte Zeichen bezeichnen den Iterationsindex. Der Gradientenabstieg und die konjugierte Gradientenmethode können verwendet werden, um den Wert zu finden, der gelöst wirdd n f ( x ) α x $x$$d$$n$$f(x)$$\alpha$$x^*$

$\min f(x)$

Beide Methoden beginnen mit einer anfänglichen Vermutung, , und berechnen dann die nächste Iteration unter Verwendung einer Funktion des Formulars$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

Mit anderen Worten, der nächste Wert von wird gefunden, indem an der aktuellen Position und in der Suchrichtung für eine gewisse Entfernung bewegt wird . Bei beiden Methoden kann die zu bewegende Entfernung durch eine Liniensuche ermittelt werden (minimiere über ). Es können auch andere Kriterien angewendet werden. Wo sich die beiden Methoden unterscheiden, liegt in ihrer Wahl von . Für die Gradientenmethode ist . Für die konjugierte Gradientenmethode wird das Grahm-Schmidt-Verfahren verwendet, um die Gradientenvektoren zu orthogonalisieren. Insbesondere ist , aber dann ist gleich$x$$x^i$$d^i$$\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$ minus der Projektion dieses Vektors auf so dass . Jeder nachfolgende Gradientenvektor ist gegen alle vorherigen orthogonalisiert, was zu sehr schönen Eigenschaften für die obige quadratische Funktion führt.$d^0$$(d^1)^Td^0 = 0$

Die obige quadratische Funktion (und verwandte Formulierungen) ist auch , wo sich die Diskussion des Lösens die konjugierte Gradientenverfahren unter Verwendung kommt, da das Minimum des an dem Punkt erreicht wird , wo .f ( x ) x A x = $Ax = b$$f(x)$$x$$Ax = b$

In diesem Zusammenhang können beide Methoden als Minimierungsprobleme der Funktion betrachtet werden: Wenn symmetrisch ist, wird minimiert, wenn .

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

Gradientenabstieg ist die Methode, mit der iterativ nach einem Minimierer gesucht wird, indem in die Gradientenrichtung geschaut wird. Der konjugierte Gradient ist ähnlich, aber die Suchrichtungen müssen auch orthogonal zueinander sein, in dem Sinne, dass .$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$