Was genau ist ein Residual Learning-Block im Kontext von Deep Residual Networks in Deep Learning?


12

Ich las die Arbeit Deep Residual Learning for Image Recognition und hatte Schwierigkeiten, mit 100% iger Sicherheit zu verstehen, was ein Restblock rechnerisch bedeutet. Beim Lesen ihrer Zeitung haben sie Abbildung 2:

Geben Sie hier die Bildbeschreibung ein

Dies zeigt, was ein Restblock sein soll. Ist die Berechnung eines Restblocks einfach dieselbe wie:

y=σ(W.2σ(W.1x+b1)+b2+x)

Oder ist es etwas anderes?

Mit anderen Worten, um zu versuchen, mit der Notation des Papiers übereinzustimmen, ist:

F.(x)+x=[W.2σ(W.1x+b1)+b2]]+x

ist das wahr?

Beachten Sie, dass nach der Kreissummierung das Wort ReLU auf dem Papier erscheint, daher sollte die Ausgabe eines Restblocks (den ich mit ) sein:y

σ(F.(x)+x)=σ([W.2σ(W.1x+b1)+b2]]+x)

mit einem zusätzlichen ReLU-Nichtlinearitäts- .σ


ist x ist positiv relu (x) = x
Ray Tayek

Antworten:


Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.