Künstliche Intelligenz activation-function

2

Wie wähle ich eine Aktivierungsfunktion?

Ich wähle die Aktivierungsfunktion für die Ausgabeebene abhängig von der Ausgabe, die ich benötige, und den Eigenschaften der Aktivierungsfunktion, die ich kenne. Zum Beispiel wähle ich die Sigmoid-Funktion, wenn ich mich mit Wahrscheinlichkeiten befasse, eine ReLU, wenn ich mich mit positiven Werten befasse, und eine lineare Funktion, wenn ich mich …

13 neural-networks machine-learning math activation-function

1

Was passiert, wenn ich Aktivierungsfunktionen mische?

Es gibt verschiedene Aktivierungsfunktionen wie ReLU, Sigmoid oder . Was passiert, wenn ich Aktivierungsfunktionen mische?tanhtanh\tanh Ich habe kürzlich festgestellt, dass Google die Swish-Aktivierungsfunktion (x * sigmoid) entwickelt hat. Kann durch Ändern der Aktivierungsfunktion die Genauigkeit bei kleinen neuronalen Netzwerkproblemen wie dem XOR-Problem erhöht werden?

10 neural-networks machine-learning activation-function relu sigmoid

2

Was bedeutet es, wenn ein Neuron in einem neuronalen Netzwerk aktiviert wird?

Ich bin gerade auf das Konzept der Neuronenabdeckung gestoßen, bei dem es sich um das Verhältnis von aktivierten Neuronen und Gesamtneuronen in einem neuronalen Netzwerk handelt. Aber was bedeutet es für ein Neuron, "aktiviert" zu werden? Ich weiß, was Aktivierungsfunktionen sind, aber was bedeutet es, aktiviert zu werden, z. B. …

10 neural-networks ai-basics concepts activation-function

1

Was sind die Vorteile von ReLU gegenüber Leaky ReLU und Parametric ReLU (falls vorhanden)?

Ich denke, dass der Vorteil der Verwendung von Leaky ReLU anstelle von ReLU darin besteht, dass wir auf diese Weise keinen verschwindenden Gradienten haben können. Die parametrische ReLU hat den gleichen Vorteil mit dem einzigen Unterschied, dass die Steigung des Ausgangs für negative Eingänge ein lernbarer Parameter ist, während sie …

10 neural-networks activation-function relu

5

Warum müssen Aktivierungsfunktionen im Kontext neuronaler Netze differenzierbar sein?

Warum sollte eine Aktivierungsfunktion eines neuronalen Netzwerks differenzierbar sein? Ist es unbedingt notwendig oder nur vorteilhaft?

9 neural-networks math activation-function

Als «activation-function» getaggte Fragen