Was ist so toll an derivatfreien Lösern für SDEs?

8

Ich versuche mich mit SDEs vertraut zu machen und habe einige Übersichtsartikel zu diesem Thema gelesen. Sie hinterlassen den Eindruck, dass viel Arbeit in lösungsfreie Löser gesteckt wurde. Nach meinem Verständnis bedeutet dies, dass für eine DDE wie

d X = f (X) d t + g (X) d W,

$\newcommand\diff{\mathop{}\!\mathrm{d}} \diff X = f(X)\diff t + g(X) \diff W,$ die Ableitungen von

f

$f$ und

g

$g$ sind für die Methode nicht erforderlich (korrigieren Sie mich, wenn ich falsch liege).

Ich kann verstehen, dass diese Eigenschaft in einigen Anwendungen nützlich ist, in denen die Ableitung schwierig oder rechnerisch nicht realisierbar ist oder nicht existiert. Ich würde jedoch nicht erwarten, dass solche Probleme in der Anwendung sehr relevant sind.

Dies legt für mich nahe, dass mindestens eine der folgenden Bedingungen zutrifft:

Derivatfreie Löser haben einen weiteren relevanten Vorteil, den ich vermisse.
Probleme, bei denen derivatfreie Löser erforderlich sind (aus dem oben genannten Grund), sind relevanter als ich denke.
Die Nachfrage nach derivatfreien Lösern ist geringer als das „Angebot“, dh die Aufmerksamkeit derjenigen, die Löser entwickeln.

Welches ist es?

stochastic stochastic-ode

— Wrzlprmft
quelle

7

Ich kann verstehen, dass diese Eigenschaft in einigen Anwendungen nützlich ist, in denen die Ableitung schwierig oder rechnerisch nicht realisierbar ist oder nicht existiert. Ich würde jedoch nicht erwarten, dass solche Probleme in der Anwendung sehr relevant sind.

Wenn eine analytische Lösung für das Derivat nicht bekannt ist, ist sie sehr kostspielig und fehleranfällig. Die Berechnung des Jacobi beträgt Einträge, aber numerische Differenzierungstechniken müssen mehrere Funktionsaufrufe pro Eintrag ausführen. Um dies richtig zu machen, müssen numerische Differenzierungstechniken bei der Berechnung der Ableitung durch eine kleine Zahl geteilt werden, was viele numerische Probleme verursacht. $n^2$

Mit Autodifferenzierungs-Tools werden diese Kosten reduziert, können aber dennoch erheblich sein. Wenn also keine analytischen Jacobianer verschrieben werden, ist es normalerweise gut, sich von Methoden fernzuhalten, die Ableitungen erfordern.

Ich würde jedoch nicht erwarten, dass solche Probleme in der Anwendung sehr relevant sind.

Für die meisten Dinge wie nichtlineare SPDEs oder große SDE-Systeme (1000) aus der Biologie kann es nahezu unmöglich und fehleranfällig sein, den Jacobi auszuschreiben. Ich würde sagen, dass es umgekehrt ist: Es ist keine gute Idee, einen analytischen Jacobian zu erwarten.

Es gibt noch einige weitere Vorteile. Runge-Kutta-Methoden sind derivatfreie Methoden und können viele Koeffizientenoptimierungen durchführen.

Die Nachfrage nach derivatfreien Lösern ist geringer als das „Angebot“, dh die Aufmerksamkeit derjenigen, die Löser entwickeln.

Das ist nicht der Fall. In DifferentialEquations.jl wurden derivatfreie Methoden vor den Methoden der KPS Stochastic Taylor Series implementiert, da dies für die meisten Benutzer zu einer Benutzerfreundlichkeit und einer Leistungssteigerung führt. Im Bereich der Differentialgleichungen finden Sie jedoch immer ein Gegenbeispiel, bei dem dies nicht der Fall ist. Daher plane ich die Implementierung einiger Methoden, die explizit Ableitungen verwenden. Ich bin mir jedoch sicher, dass die meisten Benutzer wahrscheinlich nur standardmäßig die derivatfreien Methoden verwenden werden, da die kognitive Belastung an ihrem Ende viel geringer ist.

— Chris Rackauckas
quelle

4

Ich bin kein Experte für spezifisch stochastische Differentialgleichungen, aber ich würde davon ausgehen, dass meine Antwort immer noch von Wert sein wird.

Die Berechnung des Derivats kann schwierig sein, wie Sie in Ihrer Frage erwähnt haben. Dies wäre jedoch in einem mehrdimensionalen Fall noch ausgeprägter, da man Jacobi-Matrizen ( Einträge) berechnen müsste . Nicht derivatfreie Löser leiden also unter dem Fluch der Dimensionalität. Die Situation wird noch schlimmer, wenn für ein System Derivate höherer Ordnung erforderlich sind. $n^2$
Die Berechnung einer Ableitung an sich verstärkt im Allgemeinen das numerische Rauschen. Wenn beispielsweise die zugrunde liegende Funktion ( oder ) nicht analytisch ist, kann der Fehler in der Ableitung die Lösung vollständig verzerren. $f$ $g$

— Anton Menschow
quelle

Vielen Dank für Ihre Antwort. Zu Punkt 1: Ja, Sie müssten den Jacobi berechnen, aber in den meisten Fällen kann ich mir vorstellen, dass er spärlich ist, wenn nicht Null (zumindest für ). Zu Punkt 2: Welche Art von Anwendung hat nicht analytisches oder ?

g

$g$

f

$f$

g

$g$

— Wrzlprmft

Das Erfordernis, dass der Benutzer ein Sparsity-Muster bereitstellt, um eine anständige Leistung zu erzielen, ist für die meisten Benutzer eine gute Möglichkeit, eine schlechte Leistung zu erzielen. Die meisten Benutzer möchten nur einen "automatischen SDE-Löser" für die meisten Probleme, wie das, was Dormand-Prince gibt. Wenn Sie also diese Menge an Eingaben für die "grundlegendste Methode" benötigen, ist dies eine Herabstufung der Benutzerfreundlichkeit.

— Chris Rackauckas

Ja, der Jacobianer könnte spärlich sein. Die Frage ist, wie spärlich es ist, wie einfach es ist, das Sparsity-Muster zu bestimmen, und wie viele Funktionsbewertungen erforderlich wären, um es im Vergleich zu einer ableitungsfreien Methode zu berechnen. In Bezug auf das "numerische Rauschen". Es wird auch bei analytischen Funktionen auftreten, nur nicht so schwerwiegend (aber rechenintensiv genug, um derivatfreie Schemata zu untersuchen). Nichtanalytische Funktionen? Schwer zu beantworten, welche in der stochastischen DE-Welt von Nutzen sind. Als Spezialist für Integralgleichungen verwende ich immer die Funktion von Green als Beispiel.

— Anton Menshov