Ich habe folgende CNN:

1. Ich beginne mit einem Eingabebild der Größe 5x5
2. Dann wende ich die Faltung mit 2x2 Kernel und stride = 1 an, wodurch eine Feature-Map der Größe 4x4 erzeugt wird.
3. Dann wende ich 2x2 Max-Pooling mit Stride = 2 an, wodurch die Feature-Map auf 2x2 verkleinert wird.
4. Dann wende ich logistische Sigmoid.
5. Dann eine vollständig verbundene Schicht mit 2 Neuronen.
6. Und eine Ausgabeebene.

Nehmen wir der Einfachheit halber an, dass ich den Vorwärtsdurchlauf bereits abgeschlossen und δH1 = 0,25 und δH2 = -0,15 berechnet habe

Nach dem vollständigen Vorwärtsdurchlauf und dem teilweise abgeschlossenen Rückwärtsdurchlauf sieht mein Netzwerk folgendermaßen aus:

Dann berechne ich Deltas für die nichtlineare Schicht (logistisches Sigma):

$$\begin{align} &\delta_{11}=(0.25 * 0.61 + -0.15 * 0.02) * 0.58 * (1 - 0.58) = 0.0364182\\ &\delta_{12}=(0.25 * 0.82 + -0.15 * -0.50) * 0.57 * (1 - 0.57) = 0.068628\\ &\delta_{21}=(0.25 * 0.96 + -0.15 * 0.23) * 0.65 * (1 - 0.65) = 0.04675125\\ &\delta_{22}=(0.25 * -1.00 + -0.15 * 0.17) * 0.55 * (1 - 0.55) = -0.06818625\\ \end{align}$$

Dann propagiere ich Deltas zur 4x4-Ebene und setze alle Werte, die durch Max-Pooling herausgefiltert wurden, auf 0 und die Verlaufskarte sieht folgendermaßen aus:

Wie aktualisiere ich die Kernel-Gewichte von dort aus? Und wenn mein Netzwerk vor 5x5 eine andere Faltungsschicht hatte, welche Werte sollte ich verwenden, um die Kernelgewichtungen zu aktualisieren? Und ist meine Berechnung insgesamt korrekt?

Eine Faltung verwendet ein Prinzip der Gewichtsverteilung, das die Mathematik erheblich verkompliziert. Versuchen wir jedoch, durch das Unkraut zu kommen. Ich beziehe den größten Teil meiner Erklärung aus dieser Quelle .

---

Vorwärtspass

Wie Sie gesehen haben, kann der Vorwärtsdurchgang der Faltungsschicht ausgedrückt werden als

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

$k_1$$k_2$$k_1=k_2=2$$x_{0,0} = 0.25$$m$$n$

Rückausbreitung

Angenommen, Sie verwenden den als definierten mittleren quadratischen Fehler (MSE)

$E = \frac{1}{2}\sum_p (t_p - y_p)^2$

wir wollen bestimmen

$\frac{\partial E}{\partial w^l_{m', n'}}$$m'$$n'$$w^1_{0,0} = -0.13$$H$$K$

$(H-k_1+1)$$(W-k_2+1)$

$4$$4$$w^1_{0,0} = -0.13$$x^1_{0,0} = 0.25$

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \frac{\partial E}{\partial x^l_{i, j}} \frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}}$

Dies durchläuft den gesamten Ausgaberaum, bestimmt den Fehler, den die Ausgabe verursacht, und bestimmt dann den Beitragsfaktor des Kernelgewichts in Bezug auf diese Ausgabe.

Nennen wir den Fehlerbeitrag aus dem Ausgaberaum-Delta der Einfachheit halber und um den zurückpropagierten Fehler zu verfolgen,

$\frac{\partial E}{\partial x^l_{i, j}} = \delta^l_{i,j}$

Der Beitrag der Gewichte

Die Faltung ist definiert als

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

somit,

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = \frac{\partial}{\partial w^l_{m', n'}} (\sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l)$

Wenn wir die Summe erweitern, stellen wir fest, dass die Ableitung nur dann ungleich Null ist $m=m'$$n=n'$

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = o^{l-1}_{i+m', j+n'}$

Dann zurück in unsere Fehlerbedingung

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \delta_{i,j}^l o^{l-1}_{i+m', j+n'}$

Stochastische Gefälleabfahrt

$w^{(t+1)} = w^{(t)} - \eta \frac{\partial E}{\partial w^l_{m', n'}}$

Lassen Sie uns einige davon berechnen

import numpy as np
from scipy import signal
o = np.array([(0.51, 0.9, 0.88, 0.84, 0.05), 
              (0.4, 0.62, 0.22, 0.59, 0.1), 
              (0.11, 0.2, 0.74, 0.33, 0.14), 
              (0.47, 0.01, 0.85, 0.7, 0.09),
              (0.76, 0.19, 0.72, 0.17, 0.57)])
d = np.array([(0, 0, 0.0686, 0), 
              (0, 0.0364, 0, 0), 
              (0, 0.0467, 0, 0), 
              (0, 0, 0, -0.0681)])

gradient = signal.convolve2d(np.rot90(np.rot90(d)), o, 'valid')

Array ([[0.044606, 0.094061], [0.011262, 0.068288]])

$\frac{\partial E}{\partial w}$

---

Bitte lassen Sie mich wissen, wenn es Fehler in der Ableitung gibt.

---

Update: Code korrigiert