Ist bekannt, dass einige Optimierungsprobleme einem Zeitschritt entsprechen?

Betrachten Sie bei einem gewünschten Zustand $y_0$ und einem Regularisierungsparameter $\beta \in \mathbb R$ das Problem, einen Zustand $y$ und eine Steuerung $u$ zu finden, um eine funktionale zu minimieren

$$\begin{equation} \frac{1}{2} \| y - y_0 \|^2 + \frac{\beta}{2} \| u \|^2 \end{equation}$$ $$\begin{equation} Ay = u. \end{equation}$$ $y, y_0, u \in \mathbb R^n$$A \in \mathbb R^{n \times n}$

Bilden der Lagrangian, sucht stationären Punkte, und die Beseitigung der Steuer erhalten wir die Bedingungen erster Ordnung Vor der Multiplikation mit in der ersten Gleichung und in der zweiten Gleichung können wir die normalen Gleichungen schreiben Wir können diese als einzelne Schritte von Rückwärts-Euler-Annäherungen an die Differentialgleichungen interpretieren. $u$

$$\begin{align*} A^T \lambda &= y_0 - y \\ Ay &= \frac{1}{\beta} \lambda \end{align*}$$ $A$$A^T$≤ $$\begin{align} (I + \beta A A^T) \lambda &= \beta A y_0 \\ (I + \beta A^T A) y &= y_0 \end{align}$$ $$\begin{align} \frac{\partial \lambda}{\partial b} &= -A A^T \lambda + A y_0, \quad \lambda(0) = 0 \\ \frac{\partial y}{\partial b} &= -A^T A y, \quad y(0) = y_0 \end{align}$$ mit pseudotimestep .$\beta$

Meine Frage: Ist dieser Zusammenhang bekannt? Wird es bei Standardbehandlungen mit Zeitschritt oder Optimierung diskutiert? (Für mich scheint es eine Art intuitive Verbindung zwischen ihnen zu bieten.)

Die Idee scheint so einfach zu sein, dass sie wohl bekannt sein muss, aber weder das Durchsuchen der Literatur noch das Reden mit Menschen hat mir eine gute Quelle gegeben, in der dies diskutiert wird. Das nächste, was ich gefunden habe, ist ein Artikel von O. Scherzer und J. Weichert (J. Math Imaging Vision 12 (2000), S. 43-63), in dem der Zusammenhang im ersten Satz des Abstracts (!) Angegeben ist, aber nicht Geben Sie Referenzen an oder erkunden Sie die Verbindung in jeder Tiefe.

Im Idealfall suche ich eine Referenz, die nicht nur die Verbindung angibt, sondern auch einige Konsequenzen untersucht (man könnte sich zum Beispiel vorstellen, ein Optimierungsproblem mit einem billigen Euler-Vorwärtsschritt vorzubereiten).

Wie Jed Brown erwähnte, wird der Zusammenhang zwischen Gradientenabstieg in der nichtlinearen Optimierung und Zeitschritt von dynamischen Systemen mit einer gewissen Häufigkeit wiederentdeckt (verständlicherweise, da er eine sehr befriedigende Verbindung zum mathematischen Verstand darstellt, da er zwei scheinbar unterschiedliche Felder verbindet). Es stellt sich jedoch selten als nützliche Verbindung heraus, insbesondere in dem von Ihnen beschriebenen Kontext.

Bei inversen Problemen sind die Leute daran interessiert, die (schlecht gestellte) Operatorgleichung zu lösen, wobei nicht im Bereich von . (Ihr optimales Steuerungsproblem kann als eine Instanz davon mit und .) Mehrere Regularisierungsstrategien (wie Tikhonov oder Landweber) können als eine einzige Pseudozeit interpretiert werden Schritt einer bestimmten Klasse. Die Idee ist dann, die Interpretation des Regularisierungsparameters als Schrittlänge zu verwenden, um einige (adaptive, a posteriori) Auswahlregeln für den Parameter zu erhalten - ein grundlegendes Problem bei inversen Problemen - und möglicherweise mehrere Pseudozeitschritte zu machen nähern sich der wahren, unregelmäßigen Lösung (ähnlich wiey δ F F = A - 1 y δ = y $F(u)=y^\delta$$y^\delta$$F$$F=A^{-1}$$y^\delta = y_0$numerische Fortsetzung ). Dies wird manchmal als kontinuierliche Regularisierung bezeichnet und normalerweise im Kontext von Level-Set-Methoden diskutiert. siehe zum Beispiel Kapitel 6.1 von Kaltenbacher, Scherzer, Neubauer: Iterative Regularisierungsmethoden für nichtlineare, schlecht gestellte Probleme (de Gruyter, 2008).

Ein zweiter Kontext, in dem diese Idee immer wieder auftaucht, ist die nichtlineare Optimierung: Betrachtet man einen Gradientenabstiegsschritt für , so ist dann können Sie dies als einen Vorwärts- Euler-Schritt für das dynamische System interpretieren. Wie Jed Brown betonte, ergibt dies auf den ersten Blick nur die nicht sehr überraschende Beobachtung, dass diese Methode konvergiert, vorausgesetzt, die sind klein genug. Der interessante Teil kommt, wenn man sich das dynamische System ansieht und fragt, welche Eigenschaften die stetige Lösung des sogenannten Gradientenflusses hat$\min_x f(x)$≤ x ( t ) = - ≤ f ( x ( t ) )

$$x^{k+1} = x^k - \gamma_k \nabla f(x^k),$$ $$\dot x(t) = -\nabla f(x(t)),\qquad x(0) = x^0.$$ $\gamma_k$$x(t)$hat (oder sollte), unabhängig von der Gradientenabnahme, und ob dies nicht zu angemesseneren Zeitschritt- (und damit Optimierungs-) Methoden als bei Standard-Euler führt. Einige Beispiele aus meinem Kopf:

1. Gibt es einen natürlichen Funktionsraum, in dem der Gradientenfluss lebt? Wenn ja, sollte Ihr Gradientenschritt aus dem gleichen Raum genommen werden (dh die Diskretisierung sollte übereinstimmen). Dies führt beispielsweise zur Berechnung von Riesz-Darstellungen des Gradienten in Bezug auf verschiedene innere Produkte (manchmal als Sobolev-Gradienten bezeichnet ) und in der Praxis zu vorkonditionierten Iterationen, die viel schneller konvergieren.

2. Vielleicht sollte nicht zu einem Vektorraum gehören, sondern zu einer Mannigfaltigkeit (z. B. symmetrische positive bestimmte Matrizen), oder der Gradientenfluss sollte eine bestimmte Norm von beibehalten . In diesem Fall können Sie versuchen, strukturerhaltende Zeitschrittschemata anzuwenden (z. B. ein Zurückziehen in Bezug auf eine geeignete Lie-Gruppe oder einen geometrischen Integrator).$x$$x$

3. Wenn nicht differenzierbar, sondern konvex ist, entspricht der Vorwärts-Euler-Schritt einer Subgradienten-Abstiegsmethode, die aufgrund von Einschränkungen der Schrittgröße sehr langsam sein kann. Andererseits entspricht ein impliziter Euler-Schritt einer Proximalpunktmethode , für die keine derartigen Einschränkungen gelten (und die daher beispielsweise in der Bildverarbeitung sehr populär geworden sind).$f$

4. In ähnlicher Weise können solche Verfahren durch Extrapolationsschritte erheblich beschleunigt werden. Eine Möglichkeit, diese zu motivieren, besteht darin, zu beobachten, dass Standardmethoden erster Ordnung viele kleine Schritte in der Nähe von Minimierern ausführen müssen, weil die Gradientenrichtungen "oszillieren" (denken Sie an die Standardillustration, warum konjugierte Gradienten die steilste Abnahme übertreffen). Um dies zu beheben, kann die Iteration "gedämpft" werden, indem nicht ein dynamisches System erster Ordnung, sondern ein gedämpftes System zweiter Ordnung gelöst wird: für passend gewähltes . Bei richtiger Diskretisierung führt dies zu einer Iteration (bekannt als Polyaks Heavy-Ball-Methode ) der Form a 1 , a 2 α k a 1 , a

   $$a_1 \ddot x(t) + a_2 \dot x(t) = -\nabla f(x(t))$$ $a_1,a_2$ $$x^{k+1} = x^k - \gamma_k \nabla f(x^k) + \alpha_k (x^k - x^{k-1})$$ (wobei von ). Ähnliche Ideen existieren für Proximalpunktmethoden, siehe z. B. die Veröffentlichung http://arxiv.org/pdf/1403.3522.pdf von Dirk Lorenz und Thomas Pock.$\gamma_k,\alpha_k$$a_1,a_2$

---

(Ich sollte hinzufügen, dass meines Wissens nach in den meisten Fällen die Interpretation als dynamisches System für die Ableitung oder den Konvergenznachweis des Algorithmus nicht unbedingt erforderlich war. Man könnte argumentieren, dass Ideen wie "implizit vs. explizit" oder Lie-Ableitungen sind eigentlich grundlegender als dynamische Systeme oder Gradientenabstiegsmethoden. Trotzdem schadet es nie, einen anderen Standpunkt zu haben, von dem aus man ein Problem betrachten kann.)

---

EDIT: Ich bin gerade auf ein hervorragendes Beispiel aus dem zweiten Kontext gestoßen, in dem die ODE-Interpretation verwendet wird, um Eigenschaften der extragradienten Methode von Nesterov abzuleiten und Verbesserungen vorzuschlagen: http://arxiv.org/pdf/1503.01243.pdf (Beachten Sie, dass dies auch so ist ein Beispiel für Jed Browns Standpunkt, in dem die Autoren den obigen Punkt 4 im Wesentlichen wiederentdecken, ohne anscheinend den Algorithmus von Polyak zu kennen.)

EDIT 2: Und wie weit Sie dies bringen können, erfahren Sie auf Seite 5 von http://arxiv.org/pdf/1509.03616v1.pdf .

Obwohl ich die genaue Formulierung, die Sie hier niedergeschrieben haben, nicht gesehen habe, sehe ich immer wieder Gespräche, in denen die Leute eine Verbindung zur Integration eines vorübergehenden Systems "wiederfinden" und einen Algorithmus aufschreiben, der algebraisch gleichwertig mit einer Form oder ist eine andere von einer existierenden Gradientenabstiegs- oder Newton-ähnlichen Methode, und keine andere zu zitieren. Ich denke, es ist nicht sehr nützlich, da die Schlussfolgerung im Grunde genommen lautet: "Solange Sie genügend kleine Schritte unternehmen, konvergiert die Methode schließlich zu einem lokalen Minimum." Nun, 2014 jährt sich Philip Wolfe zum 45. Mal, um zu zeigen, wie man dies auf prinzipielle Weise macht. Es gibt auch eine gute Theorie, um eine q-quadratische oder q-superlineare Konvergenz aus einer pseudotransienten Fortsetzung und verwandten Methoden wie Levenberg-Marquardt zu erhalten.

Wenn Sie einen Fall dieser Wiederentdeckung mit einer Newton-ähnlichen Formulierung zum Lösen algebraischer Gleichungen (dh klassischer pseudotransienter Fortsetzungen) von einem Mathematiker mit mehr als 600 Artikeln wollen (vielleicht beweist er, dass Sie Dinge interessant finden), schauen Sie sich das an. Dynamical Systems Method "von AG Ramm [1].

Wenn die Intuition, die durch die Betrachtung eines vorübergehenden Systems gewonnen wurde, zu praktischen Algorithmen führen würde, die entweder schneller oder zuverlässiger sind, würden wir wahrscheinlich häufig zitierte Artikel zu diesem Thema finden. Ich denke, es ist kein Rätsel, dass Nocedal und Wright über 13000 Zitate haben, während Ramms Buch ungefähr 80 (meistens Selbstzitate) enthält.

[1] Ich kann Ihnen raten, Prof. Ramm nicht darüber zu informieren, dass sein DSM algebraisch mit etwas äquivalent ist, das seit Jahrzehnten in unzähligen technischen Paketen enthalten ist, oder dass Sie sich aus dem Raum schreien lassen. #gradstudentmemories

Wenn ODE-Methoden zur Optimierung beitragen können, gibt es ein wirklich einfaches Beispielproblem, um dies zu zeigen?
Ein Strohmann: Gibt es einen ODE-Löser, der einen vernünftigen Job auf oder wie Christian Clason für die Rosenbrock-Funktion vorschlägt , in 2d oder 10d? Wenn das albern ist, hat jemand einen besseren Strohmann? (Beachten Sie, dass "vernünftig" und nicht "konkurrenzfähig mit den modernsten Optimierern" ist. Ich stelle mir vor, man muss die Schrittgröße / Toleranz verringern und vielleicht einen steifen Löser.)
$\qquad \dot{ x } = - \nabla f( x )$
$\quad \ddot{ x } = \beta \dot{ x } - \alpha \nabla f( x ) \ \ $
$f$

In der Praxis sind "zu große" Schritte viel problematischer als "zu kleine" - Schwingungen sind chaotisch.
Ich hätte naiv gedacht, dass die Kontrolltheorie helfen könnte. Numerische Rezepte p. 915 beschreibt
PI Adaptive Stepsize Control für ODEs, aber ich weiß nicht, ob dies in der Praxis verwendet wird.