Klärung der Intuition hinter Backpropagation

Ich habe einige Zeit gebraucht, um zu versuchen, die Berechnungen und Mechanismen der Algorithmen für maschinelles Lernen zu verstehen, die ich in meinem täglichen Leben verwende.

Wenn ich die Backpropagation-Literatur zum CS231n-Kurs studiere, möchte ich sicherstellen, dass ich die Kettenregel richtig verstanden habe, bevor ich mein Studium fortsetze.

Angenommen, ich habe die Sigmoid-Funktion:

$$\sigma(x) = \frac{1}{1+e^{-x}}$$

in diesem Fall ist$x=w0x0+w1x1+w2$

Wir können diese Funktion als Berechnungsgraph schreiben (die Farbwerte werden vorerst ignoriert):

Wir können die modularisierten Knoten zur Berechnung des Gradienten des Sigmoid seiner Eingabe in einer einzigen Ableitung :$w.r.t.$

$$\frac{d\sigma(x)}{d x}=(1 - \sigma(x))\sigma(x)$$

Zuerst führen wir eine Vorwärtspropogation durch, um die Ausgänge an jeder Einheit zu erhalten:

w = [2,-3,-3] 
x = [-1, -2]

# Compute the forward pass 
product = [w[0]*x[0]+w[1]*x[1]+w[2]]
activation = 1 / 1 + math.exp(-product)

Um den Gradienten der Aktivierung zu berechnen, können wir die obige Formel verwenden:

grad_product = (1 - activation) * activation 

Wenn ich das Gefühl habe, verwirrt zu sein oder zumindest weniger intuitiv zu sein, berechnet ich den Gradienten für xund w:

grad_x = [w[0] * activation + w[2] * activation]
grad_w = [x[0] * activation + x[1] * activation + 1 * activation]

Genauer bin ich verwirrt darüber, warum wir 1 * activationbei der Berechnung des Gradienten w .$w.r.t.$

Es kann dem Leser helfen, meine theoretischen Schwierigkeiten zu erkennen, wenn ich versuche, die Berechnungen der Gradienten von x und w zu begründen ...

Der Gradient jedes wird durch das entsprechende unter der Multiplikationsregel gegeben: Wenn dann ist . Dann multiplizieren wir diese lokalen Gradienten unter Verwendung der Kettenregel mit dem Gradienten des aufeinanderfolgenden Knotens (für jeden Pfad von ), um seinen Gradienten für die Funktionsausgabe zu erhalten. Dies erklärt die Berechnung für die Berechnung von .$x_i$$w_i$$f(x,y) = f(xy)$$\frac{\partial f}{\partial x}=y$$x$$\partial x$

Der Gradient von wird genau so (invers) angegeben, wie oben mit dem Zusatz erläutert . Ich glaube, dieser zusätzliche Ausdruck kommt von ? Der lokale Gradient einer Additionseinheit ist für alle Eingaben immer 1, und die Multiplikation mit ergibt sich aus der Verkettung des Gradienten mit dem Ausgang der Funktion?$w_i$1 * activation$w_2$activation

Ich bin teilweise zuversichtlich mit meinem derzeitigen Verständnis, würde mich aber freuen, wenn jemand meine derzeitige Intuition in Bezug auf die Berechnungen zur Berechnung von Gradienten klären könnte.

Was Sie berechnen möchten, ist

$$\frac{\partial \sigma(\hat{x})}{\partial \vec{x}}=\left[\frac{\partial \sigma(\hat{x})}{\partial x_0},\frac{\partial \sigma(\hat{x})}{\partial x_1}\right]$$

und

$$\frac{\partial \sigma({\hat{x}})}{\partial \vec{w}}=\left[\frac{\partial \sigma(\hat{x})}{\partial w_0},\frac{\partial \sigma(\hat{x})}{\partial w_1},\frac{\partial \sigma(\hat{x})}{\partial w_2}\right]$$

wissend, dass $\hat{x}$ ist in der Tat eine Funktion dieser Variablen, wie $\hat{x}=w_0x_0+w_1x_1+w_2$.

Sie können die Kettenregel verwenden, um dies wie folgt zu berechnen:

$$\frac{\partial \sigma(\hat{x})}{\partial x_0}=\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}\frac{\partial \hat{x}}{\partial x_0}$$

Du weißt es schon $\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}$

wie es ist

$$\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}=(1-\sigma(\hat{x}))\sigma(\hat{x})$$

und die zweite Ableitung ist trivial (es ist nur ein Polynom! $\frac{\partial \hat{x}}{\partial x_0}=w_0$). Sie müssen jetzt nur noch die 5 partiellen Ableitungen berechnen. Zusamenfassend:

$$\frac{\partial \sigma(\hat{x})}{\partial \vec{x}}=\left[\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}w_0,\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}w_1\right]$$

$$\frac{\partial \sigma(\hat{\hat{x}})}{\partial \vec{w}}=\left[\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}x_0,\frac{\partial \sigma(x)}{\partial \hat{x}}x_1,\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}\right]$$

Der beste Weg, die Backpropagation für einen Programmierer zu verstehen, ist die Kettenregel als Rekursion.

Hier ist die Kettenregel. Sie haben einen verschachtelten Funktionsausdruck$y=f(g(x))$. Zuerst betrachten Sie es als zwei verschiedene Funktionen:

$$f(x)\\g(x)$$ Wenn Sie die Weiterleitung durchführen, ist dies nichts anderes als dieser Psudo-Code: $$t=g(x)\\ y=f(t)$$

Wenn Sie nun ein Derivat verwenden möchten, wenden Sie eine Kettenregel an:

$$y'=f(g(x))'=f'g'$$ wo $$f'=df(t)/dt$$ und $$g'=dg(x)/dx$$ Dies ist im Grunde eine Rekursion für eine verschachtelte Struktur. Wenn$g(x)=g(h(x))$Dann wenden Sie einfach die Kettenregel erneut an und machen so lange weiter, bis Sie den unteren Rand erreichen, dh die Eingabeebene bei NN.

Hier ist ein Beispiel, ein Ein-Neuron:

$$a=sigmoid(Wx+b)$$ Sie haben hier zwei Funktionen: $sigmoid(x)$ und $Wx+b$.

Wenn Sie zwei Schichten von Neuronen haben, ist es nicht viel anders:

$$sigmoid(W_1*sigmoid(Wx+b)+b_1)$$ Also gehst du rückwärts: $$z=Wx+b\\a_1=sigmoid(z)\\z_1=W_1*a_1+b_1\\a_2=sigmoid(z_1)$$