Schrittweises Beispiel für die automatische Differenzierung im Rückwärtsmodus

Ich bin mir nicht sicher, ob diese Frage hierher gehört, aber sie hängt eng mit den Gradientenmethoden in der Optimierung zusammen, die hier offenbar zum Thema gehören. Sie können auf jeden Fall migrieren, wenn Sie der Meinung sind, dass eine andere Community über bessere Fachkenntnisse in diesem Thema verfügt.

Kurz gesagt, ich suche nach einem schrittweisen Beispiel für die automatische Differenzierung im umgekehrten Modus . Es gibt nicht viel Literatur zu diesem Thema und die bestehende Implementierung (wie die in TensorFlow ) ist schwer zu verstehen, ohne die Theorie dahinter zu kennen. Daher wäre ich sehr dankbar, wenn jemand im Detail zeigen könnte, was wir übergeben , wie wir es verarbeiten und was wir aus dem Rechengraphen herausnehmen.

Ein paar Fragen, mit denen ich am meisten Schwierigkeiten habe:

Samen - warum brauchen wir sie überhaupt?
Umgekehrte Differenzierungsregeln - Ich weiß, wie man vorwärts differenziert, aber wie gehen wir zurück? wissen wir im Beispiel aus diesem Abschnitt , dass ? $\bar{w_2}=\bar{w_3}w_1$
Arbeiten wir nur mit Symbolen oder durchlaufen wir tatsächliche Werte ? Beispielsweise im gleichen Beispiel ist und Symbole oder Werte? $w_i$ $\bar{w_i}$

— freund
quelle

"Maschinelles Lernen zum Anfassen mit Scikit-Learn & TensorFlow" Anhang D enthält meiner Meinung nach eine sehr gute Erklärung. Ich empfehle es.

— Augustin Barrachina

Nehmen wir an, wir haben den Ausdruck und wollen die Derivate und . Reverse-Mode-AD teilt diese Aufgabe in zwei Teile, nämlich Vorwärts- und Rückwärtsdurchläufe. $z = x_1x_2 + \sin(x_1)$ $\frac{dz}{dx_1}$ $\frac{dz}{dx_2}$

Vorwärtspass

Zunächst zerlegen wir unseren komplexen Ausdruck in eine Menge primitiver Ausdrücke, dh Ausdrücke, die aus höchstens einem einzelnen Funktionsaufruf bestehen. Beachten Sie, dass ich die Eingabe- und Ausgabevariablen aus Konsistenzgründen auch umbenenne, obwohl dies nicht erforderlich ist:

w_{1} = x_{1}

$w_1 = x_1$

w_{2} = x_{2}

$w_2 = x_2$

w_{3} = w_{1} w_{2}

$w_3 = w_1w_2$

w_{4} = \sin (w_{1})

$w_4 = \sin(w_1)$

w_{5} = w_{3} + w_{4}

$w_5 = w_3 + w_4$

z = w_{5}

$z = w_5$

Der Vorteil dieser Darstellung ist, dass Differenzierungsregeln für jeden einzelnen Ausdruck bereits bekannt sind. Zum Beispiel wissen wir , dass Ableitung von ist , und so . Wir werden diese Tatsache in umgekehrter Reihenfolge weiter unten verwenden. $\sin$ $\cos$ $\frac{dw_4}{dw_1} = \cos(w_1)$

Vorwärtsdurchlauf besteht im Wesentlichen darin, jeden dieser Ausdrücke auszuwerten und die Ergebnisse zu speichern. Angenommen, unsere Eingaben sind: und . Dann haben wir: $x_1 = 2$ $x_2 = 3$

w_{1} = x_{1} = 2

$w_1 = x_1 = 2$

w_{2} = x_{2} = 3

$w_2 = x_2 = 3$

w_{3} = w_{1} w_{2} = 6

$w_3 = w_1w_2 = 6$

w_{4} = \sin (w_{1}) = 0.9

$w_4 = \sin(w_1) ~= 0.9$

w_{5} = w_{3} + w_{4} = 6.9

$w_5 = w_3 + w_4 = 6.9$

z = w_{5} = 6.9

$z = w_5 = 6.9$

Pass umkehren

Dies ist, wo die Magie beginnt, und es beginnt mit der Kettenregel . In ihrer Grundform besagt die Kettenregel, dass, wenn Sie die Variable die von abhängt , die wiederum von abhängt , dann: $t(u(v))$ $u$ $v$

\frac{d t}{d v} = \frac{d t}{d u} \frac{d u}{d v}

$\frac{dt}{dv} = \frac{dt}{du}\frac{du}{dv}$

oder, falls über mehrere Pfade / Variablen von abhängt , zB: $t$ $v$ $u_i$

u_{1} = f (v)

$u_1 = f(v)$

u_{2} = g (v)

$u_2 = g(v)$

t = h (u_{1}, u_{2})

$t = h(u_1, u_2)$

dann (siehe Beweis hier ):

\frac{d t}{d v} = \sum_{i} \frac{d t}{d u_{i}} \frac{d u_{i}}{d v}

$\frac{dt}{dv} = \sum_i \frac{dt}{du_i}\frac{du_i}{dv}$

Wenn wir einen Endknoten und Eingabeknoten haben und der Weg von nach durch Zwischenknoten (dh wobei ), können wir eine Ableitung finden as $z$ $w_i$ $z$ $w_i$ $w_p$ $z = g(w_p)$ $w_p = f(w_i)$ $\frac{dz}{dw_i}$

\frac{d z}{d w_{i}} = \sum_{p \in p a r e n t s (i)} \frac{d z}{d w_{p}} \frac{d w_{p}}{d w_{i}}

$\frac{dz}{dw_i} = \sum_{p \in parents(i)} \frac{dz}{dw_p} \frac{dw_p}{dw_i}$

Mit anderen Worten, um die Ableitung der Ausgabevariablen für eine Zwischen- oder Eingabevariable , müssen wir nur die Ableitungen ihrer Eltern und die Formel kennen, um die Ableitung des primitiven Ausdrucks zu berechnen . $z$ $w_i$ $w_p = f(w_i)$

Der umgekehrte Durchlauf beginnt am Ende (dh ) und breitet sich rückwärts zu allen Abhängigkeiten aus. Hier haben wir (Ausdruck für "Samen"): $\frac{dz}{dz}$

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

Dies kann als "Änderung in führt zu genau der gleichen Änderung in " gelesen werden , was ziemlich offensichtlich ist. $z$ $z$

Dann wissen wir, dass und so: $z = w_5$

\frac{d z}{d w_{5}} = 1

$\frac{dz}{dw_5} = 1$

$w_5$ hängt linear von und , also ist und . Unter Verwendung der Kettenregel finden wir: $w_3$ $w_4$ $\frac{dw_5}{dw_3} = 1$ $\frac{dw_5}{dw_4} = 1$

\frac{d z}{d w_{3}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{3}} = 1 \times 1 = 1

$\frac{dz}{dw_3} = \frac{dz}{dw_5} \frac{dw_5}{dw_3} = 1 \times 1 = 1$

\frac{d z}{d w_{4}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{4}} = 1 \times 1 = 1

$\frac{dz}{dw_4} = \frac{dz}{dw_5} \frac{dw_5}{dw_4} = 1 \times 1 = 1$

Aus der Definition und den Regeln partieller Ableitungen ergibt sich . Somit: $w_3 = w_1w_2$ $\frac{dw_3}{dw_2} = w_1$

\frac{d z}{d w_{2}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{2}} = 1 \times w_{1} = w_{1}

$\frac{dz}{dw_2} = \frac{dz}{dw_3} \frac{dw_3}{dw_2} = 1 \times w_1 = w_1$

Was, wie wir bereits aus dem Forward Pass wissen, ist:

\frac{d z}{d w_{2}} = w_{1} = 2

$\frac{dz}{dw_2} = w_1 = 2$

Schließlich trägt über und zu . Aus den Regeln partieller Ableitungen wissen wir wiederum, dass und . Somit: $w_1$ $z$ $w_3$ $w_4$ $\frac{dw_3}{dw_1} = w_2$ $\frac{dw_4}{dw_1} = \cos(w_1)$

\frac{d z}{d w_{1}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{1}} + \frac{d z}{d w_{4}} \frac{d w_{4}}{d w_{1}} = w_{2} + \cos (w_{1})

$\frac{dz}{dw_1} = \frac{dz}{dw_3} \frac{dw_3}{dw_1} + \frac{dz}{dw_4} \frac{dw_4}{dw_1} = w_2 + \cos(w_1)$

Und wieder können wir es bei bekannten Eingaben berechnen:

\frac{d z}{d w_{1}} = w_{2} + \cos (w_{1}) = 3 + \cos (2) = 2.58

$\frac{dz}{dw_1} = w_2 + \cos(w_1) = 3 + \cos(2) ~= 2.58$

Da und nur Aliase für und , erhalten wir unsere Antwort: $w_1$ $w_2$ $x_1$ $x_2$

\frac{d z}{d x_{1}} = 2.58

$\frac{dz}{dx_1} = 2.58$

\frac{d z}{d x_{2}} = 2

$\frac{dz}{dx_2} = 2$

Und das ist es!

Diese Beschreibung betrifft nur skalare Eingaben, dh Zahlen, kann jedoch auch auf mehrdimensionale Arrays wie Vektoren und Matrizen angewendet werden. Zwei Dinge, die man beachten sollte, wenn man Ausdrücke mit solchen Objekten unterscheidet:

Derivate können eine viel höhere Dimensionalität aufweisen als Eingaben oder Ausgaben, z. B. ist die Ableitung des Vektors in Bezug auf den Vektor eine Matrix und die Ableitung der Matrix in Bezug auf die Matrix ein 4-dimensionales Array (manchmal als Tensor bezeichnet). In vielen Fällen sind solche Derivate sehr spärlich.
Jede Komponente im Ausgangsarray ist eine unabhängige Funktion von einer oder mehreren Komponenten des Eingangsarrays. Wenn z. B. und sowohl als auch Vektoren sind, hängt niemals von , sondern nur von der Teilmenge von . Dies bedeutet insbesondere, dass das Finden der Ableitung , zu verfolgen, wie von abhängt . $y = f(x)$ $x$ $y$ $y_i$ $y_j$ $x_k$ $\frac{dy_i}{dx_j}$ $y_i$ $x_j$

Die Fähigkeit der automatischen Unterscheidung besteht darin, dass sie mit komplizierten Strukturen aus Programmiersprachen wie Bedingungen und Schleifen umgehen kann. Wenn Sie jedoch nur algebraische Ausdrücke benötigen und das Framework für die Arbeit mit symbolischen Darstellungen ausreicht, können Sie vollständig symbolische Ausdrücke erstellen. Tatsächlich könnten wir in diesem Beispiel den Ausdruck erzeugen und diese Ableitung für beliebige Eingaben berechnen. $\frac{dz}{dw_1} = w_2 + \cos(w_1) = x_2 + \cos(x_1)$

— freund
quelle

Sehr nützliche Frage / Antwort. Vielen Dank. Nur eine kleine Kritik: Sie scheinen sich auf einer Baumstruktur zu bewegen, ohne es zu erklären (dann fangen Sie an, über Eltern usw. zu sprechen)

— MadHatter

Auch wird es nicht schaden zu klären, warum wir Samen brauchen.

— MadHatter

@ MadHatter danke für den Kommentar. Ich habe versucht, einige Absätze (die sich auf Eltern beziehen) neu zu formulieren, um eine Diagrammstruktur hervorzuheben. Ich habe dem Text auch "seed" hinzugefügt, obwohl dieser Name meiner Meinung nach irreführend sein kann: In AD ist seed immer ein fester Ausdruck - , nicht etwas, das Sie auswählen oder generieren können.

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

— Freundin

Vielen Dank! Mir ist aufgefallen, wenn Sie mehr als einen "Startwert" einstellen müssen, in der Regel wählt man 1 und 0. Ich würde gerne wissen, warum. Ich meine, man nimmt den "Quotienten" eines Differentials selbst, also ist "1" zumindest intuitiv gerechtfertigt. Aber was ist mit 0? Und wenn man mehr als 2 Samen pflücken muss?

— MadHatter

Soweit ich weiß, wird nur im Vorwärtsmodus AD mehr als ein Startwert verwendet. In diesem Fall setzen Sie den Startwert für eine zu unterscheidende Eingabevariable auf 1 und den Startwert für alle anderen Eingabevariablen auf 0, damit sie nicht zum Ausgabewert beitragen. Im umgekehrten Modus setzen Sie den Startwert auf eine Ausgabevariable und haben normalerweise nur eine Ausgabevariable. Sie können eine AD-Pipeline im umgekehrten Modus mit mehreren Ausgabevariablen erstellen und alle bis auf eins auf 0 setzen, um den gleichen Effekt wie im Vorwärtsmodus zu erzielen. Diese Option habe ich jedoch noch nie untersucht.

— Freund