Was ist die Ableitung der ReLU-Aktivierungsfunktion?

Wie lautet die Ableitung der ReLU-Aktivierungsfunktion, die wie folgt definiert ist:

R e L U (x) = m a x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

Was ist mit dem Sonderfall, in dem die Funktion bei eine Diskontinuität aufweist ? $x=0$

self-study neural-networks

— Tom Hale
quelle

Die Ableitung ist:

f (x) = {\begin{cases} 0 & wenn x < 0 \\ 1 & wenn x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

Undefiniert in . $x=0$

Der Grund dafür, dass es bei undefiniert ist, ist, dass seine linke und rechte Ableitung nicht gleich sind. $x=0$

— Jim
quelle

In der Praxis (Implementierung) wählt man also einfach entweder oder für den Fall ?

0

$0$

1

$1$

x = 0

$x=0$

— Tom Hale

Die Konvention ist, dass drdx = 1 (x> 0)

— neuroguy123

@TomHale, warum nicht ? Die praktische Umsetzung ist eine andere Sache und eine neue Frage wert. Das ist nur die Mathematik.

f (0) = \frac{1}{2}

$f(0) = \frac{1}{2}$

— Jim

@TomHale übrigens, siehe Nouroz Rahmans Antwort unter quora.com/… : "[...] Meiner Ansicht nach wird in integrierten Bibliotheksfunktionen (zum Beispiel tf.nn.relu()

— Jim