Viele Aktivierungsfunktionen in neuronalen Netzen (Sigmoid, Tanh, Softmax) sind monoton, kontinuierlich und differenzierbar (mit Ausnahme einiger Punkte, an denen keine Ableitung vorhanden ist).
Ich verstehe den Grund für Kontinuität und Differenzierbarkeit, kann aber einen Grund für Monotonität nicht wirklich verstehen.
Antworten:
Während der Trainingsphase informiert die Rückausbreitung jedes Neuron darüber, wie stark es jedes Neuron in der nächsten Schicht beeinflussen sollte. Wenn die Aktivierungsfunktion nicht monoton ist, kann eine Erhöhung des Gewichts des Neurons dazu führen, dass es weniger Einfluss hat, das Gegenteil von dem, was beabsichtigt war. Das Ergebnis wäre ein wählerisches Verhalten während des Trainings, wobei es unwahrscheinlich ist, dass das Netzwerk zu einem Zustand konvergiert, der einen genauen Klassifikator liefert.