Was genau ist ein Residual Learning-Block im Kontext von Deep Residual Networks in Deep Learning?

Ich las die Arbeit Deep Residual Learning for Image Recognition und hatte Schwierigkeiten, mit 100% iger Sicherheit zu verstehen, was ein Restblock rechnerisch bedeutet. Beim Lesen ihrer Zeitung haben sie Abbildung 2:

Dies zeigt, was ein Restblock sein soll. Ist die Berechnung eines Restblocks einfach dieselbe wie:

y = σ ({W.}_{2} σ ({W.}_{1} x + b_{1}) + b_{2} + x)

$\mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} )$

Oder ist es etwas anderes?

Mit anderen Worten, um zu versuchen, mit der Notation des Papiers übereinzustimmen, ist:

F. (x) + x = [{W.}_{2} σ ({W.}_{1} x + b_{1}) + b_{2}]] + x

$\mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x}$

ist das wahr?

Beachten Sie, dass nach der Kreissummierung das Wort ReLU auf dem Papier erscheint, daher sollte die Ausgabe eines Restblocks (den ich mit ) sein: $\mathbf{y}$

σ (F. (x) + x) = σ ([{W.}_{2} σ ({W.}_{1} x + b_{1}) + b_{2}]] + x)

$\sigma( \mathcal F(x) + x ) = \sigma( \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} )$

mit einem zusätzlichen ReLU-Nichtlinearitäts- . $\sigma$

— Charlie Parker
quelle

ist x ist positiv relu (x) = x

— Ray Tayek

Ja, das stimmt, Sie können sich das Kaffeemodell ansehen, um zu sehen, wie es implementiert wird.

— dontloo
quelle