Künstliche Intelligenz relu

Was passiert, wenn ich Aktivierungsfunktionen mische?

Es gibt verschiedene Aktivierungsfunktionen wie ReLU, Sigmoid oder . Was passiert, wenn ich Aktivierungsfunktionen mische?tanhtanh\tanh Ich habe kürzlich festgestellt, dass Google die Swish-Aktivierungsfunktion (x * sigmoid) entwickelt hat. Kann durch Ändern der Aktivierungsfunktion die Genauigkeit bei kleinen neuronalen Netzwerkproblemen wie dem XOR-Problem erhöht werden?

10 neural-networks machine-learning activation-function relu sigmoid

Was sind die Vorteile von ReLU gegenüber Leaky ReLU und Parametric ReLU (falls vorhanden)?

Ich denke, dass der Vorteil der Verwendung von Leaky ReLU anstelle von ReLU darin besteht, dass wir auf diese Weise keinen verschwindenden Gradienten haben können. Die parametrische ReLU hat den gleichen Vorteil mit dem einzigen Unterschied, dass die Steigung des Ausgangs für negative Eingänge ein lernbarer Parameter ist, während sie …

10 neural-networks activation-function relu

Als «relu» getaggte Fragen