Numerische Gradientenprüfung: Wie nah ist nah genug?

Ich habe ein neuronales Faltungsnetzwerk erstellt und wollte mithilfe der numerischen Gradientenprüfung überprüfen, ob meine Gradienten korrekt berechnet werden. Die Frage ist, wie nah ist nah genug?

Meine Überprüfungsfunktion spuckt nur die berechnete Ableitung, die numerisch angenäherte Ableitung, die Differenz zwischen den beiden aus und ob die beiden Werte das gleiche Vorzeichen haben (einer ist positiv und der andere ist negativ, ist ein großes Nein-Nein) Gewicht.

Das Hauptanliegen, das ich habe, ist, dass für alle vollständig verbundenen Schichten und alle Faltungsschichten mit Ausnahme der ersten die Unterschiede ähnlich aussehen - die ersten 9-13 Zeichen der beiden Zahlen stimmen überein. Das hört sich gut an, oder? Aber für Gewichte der ersten Faltungsschicht bekomme ich manchmal bis zu 12 Dezimalstellen, aber es kann auch nur 3 sein. Ist das genug oder könnte es einen möglichen Fehler geben?

Eine gute Sache zu beachten ist, dass das Vorzeichen der beiden Werte immer übereinstimmt, was gut ist, so dass das Netzwerk immer Bewegungen in die richtige Richtung ausführt, auch wenn die Größe der Bewegung etwas abweicht. Aber das ist die Frage ... gibt es eine Chance, dass es aus ist?

Das, was ich am ehesten gesehen habe, war das Stanford UFLDL-Tutorial im Abschnitt zur Softmax-Regression . Kopieren der Schlüsselanweisung:

Die Norm der Differenz zwischen dem numerischen Gradienten und Ihrem analytischen Gradienten sollte klein sein und in der Größenordnung von .$10^{-9}$

In Python würde der Code ungefähr so ​​aussehen:

norm(gradients - numericalGradients)/norm(gradients + numericalGradients)

Wo gradientssind Sie Ergebnisse aus der Ableitung und numericalGradientssind die angenäherten Gradienten.

Hintergrundtheorie, die hilfreich ist

Eine kleine Tatsache, anhand derer Sie besser verstehen können, ob eine numerische Ableitung korrekt berechnet wurde oder nicht, ist der Cauchy-Rest der Taylor-Erweiterung. Das ist,

$f(x + h) = f(x) + hf'(x) + \frac{h^2}{2}f''(\xi)$ für einige$\xi \in [x, x+ h]$

Dies ist hilfreich, da Sie Ihre erste Ableitung wahrscheinlich durch angenähert haben

$f'(x)\approx \frac{f(x+h) - f(x-h)}{2h}$

mit einem kleinen (ich benutze normalerweise , aber ich bin mir sicher, dass ich eines Tages auf einen Fall stoßen werde, in dem das nicht angemessen ist).$h$$10^{-4}$

Nach einer kleinen Algebra können wir den Cauchy-Rest verwenden, um zu sehen, dass unsere numerische Approximation theoretisch innerhalb von von .$h f''(\xi), \xi \in [x-h, x+h]$$f'(x)$

Tatsächlich können Sie es tatsächlich durch wobei und ... was äquivalent zu , .$h (f''(\xi_1) - f''(\xi_2) )$$\xi_1 \in [x-h, x]$$\xi_2 \in [x, x+h]$$h^2f'''(\xi)$$\xi \in [x-h, x+h]$

Probleme in der Praxis

Okay, wir haben eine schöne Theorie, die den Fehler der numerischen Ableitung begrenzt. Es gibt jedoch zwei Lücken beim direkten Versuch, diese Ergebnisse zu verwenden:

1.) Wir kennen (und wollen wahrscheinlich nicht die Zeit damit verbringen, es zu approximieren)$f'''(x)$

2.) als , leidet unter numerischer Instabilität$h \rightarrow 0$$\frac{f(x+h) - f(x-h)}{2h}$

Wenn ich also meine analytischen Ableitungen überprüfe (was möglicherweise nicht der beste Weg ist), schreibe ich die numerische Ableitungsfunktion als Funktion von . Wenn ich nicht sagen kann, ob der Unterschied zwischen der numerischen und der analytischen Ableitung auf einen Codierungsfehler oder nur auf eine numerische Approximation zurückzuführen ist, kann ich reduzieren und prüfen, ob sich meine numerische Ableitung meiner analytischen Ableitung nähert, bevor ich unter numerischer Instabilität leide (wenn dies passiert, Ihre numerischen Näherungen werden weniger konsistent, wenn kleiner wird. Beachten Sie, dass der Term quadratisch verschwinden sollte, wenn mein Fehler also ungefähr mit beträgt$h$$h$$h$$f'''(\xi)$$0.01$$h = 10^{-4}$ , sollte bei wobei vorausgesetzt, die numerische Instabilität ist noch nicht eingetreten .$0.0001$$h = 10^{-5}$

Leider gibt es keine feste Richtlinie, um diese Dinge immer zu bestimmen. es hängt sehr davon ab, wie stabil die Funktion ist (und ich meine sowohl in Bezug auf die numerische Stabilität als auch in Bezug auf höhere Ableitungen). Aber in meinen Erfahrungen habe ich noch nie einen Fall gesehen, in dem der Fehler von nicht definitiv auf 0 ging (dh die Verwendung von ergab praktisch die gleiche Antwort wie ) zu dem Zeitpunkt, als die numerische Instabilität von .$h^2 f'''(\xi)$$h = 10^{-4}$$h = 10^{-5}$$h \rightarrow 0$

Weitere Informationen finden Sie in diesem Tutorial unter http://cs231n.github.io/neural-networks-3/#ensemble . Der Abschnitt "Verlaufsprüfung" ist sehr detailliert und hilfreich.

Wie von Gung vorgeschlagen, füge ich die Hauptpunkte dieses Links hinzu:

• Verwenden Sie die Näherung , wobei .$\frac{f(w+h)-f(w-h)}{2h}$$h\sim 10^{-5}$

• Überwachen Sie den Bruchteil von , wobei ist der analytische Gradient und ist der numerisch angenäherte Gradient. Normalerweise sollte der bevorzugte Bereich dieser Fraktion .$\frac{|f_a'(w)-f_n'(w)|}{max(|f_a'(w)|,|f_n'(w)|)}$$f'_a(w)$$f'_n(w)$$<10^{-2}$

• Verwenden Sie doppelte Genauigkeit anstelle von Float.

• Denken Sie an Knicke in Aktivierungsfunktionen, z. B. wenn Sie ReLU verwenden. Wenn es gibt, muss man die Werte von und überwachen . Wenn sich diese beiden Werte auf zwei Seiten eines Knicks befinden, sollte diese Gradientenprüfung ausgeschlossen werden.$x=0$$x-h$$x+h$

• Verwenden Sie wenige Datenpunkte.

• Führen Sie keine Gradientenprüfung zu Beginn des Trainingsprozesses durch.

• Überprüfen Sie zuerst das Modell ohne Regularisierung und dann damit.

• Schalten Sie den Ausfall und den umgekehrten Ausfall aus, wenn Sie die Verlaufsprüfung durchführen.

• Überprüfen Sie nur zufällig einige Dimensionen.