Data Science batch-normalization

1

Papier: Was ist der Unterschied zwischen Layer-Normalisierung, wiederkehrender Batch-Normalisierung (2016) und Batch-normalisierter RNN (2015)?

In letzter Zeit gibt es ein Papier zur Ebenennormalisierung . Es gibt auch eine Implementierung auf Keras. Aber ich erinnere mich, dass es Artikel mit dem Titel Recurrent Batch Normalization (Cooijmans, 2016) und Batch Normalized Recurrent Neural Networks (Laurent, 2015) gibt. Was ist der Unterschied zwischen diesen drei? Es gibt …

30 deep-learning rnn normalization batch-normalization

2

Ist eine Chargennormalisierung für eine ReLU-Aktivierungsfunktion sinnvoll?

Die Chargennormalisierung wird in diesem Artikel als Normalisierung der Eingabe in eine Aktivierungsfunktion mit den Skalierungs- und Verschiebungsvariablen und β beschrieben . In diesem Artikel wird hauptsächlich die Verwendung der Sigmoid-Aktivierungsfunktion beschrieben, was sinnvoll ist. Es scheint mir jedoch, dass das Einspeisen einer Eingabe aus der durch die Chargennormalisierung erzeugten …

10 machine-learning neural-network deep-learning batch-normalization

2

Bedeutet Batch-Normalisierung, dass Sigmoide besser funktionieren als ReLUs?

Batch-Normalisierung und ReLUs sind beide Lösungen für das Problem des verschwindenden Gradienten. Wenn wir die Chargennormalisierung verwenden, sollten wir dann Sigmoide verwenden? Oder gibt es Funktionen von ReLUs, die sie auch bei Verwendung von Batchnorm lohnenswert machen? Ich nehme an, dass die in Batchnorm durchgeführte Normalisierung keine negativen Aktivierungen aussendet. …

9 deep-learning batch-normalization

1

Batch-Normalisierung verstehen

In dem Artikel Batch-Normalisierung: Beschleunigen des tiefen Netzwerktrainings durch Reduzieren der internen Kovariatenverschiebung ( hier ) Bevor der Prozess der Batch-Normalisierung erläutert wird, wird versucht, die damit verbundenen Probleme zu erklären (ich verstehe nicht, was genau hier angesprochen wird) . Auszug aus Abschnitt 2, Abs. 2: Wir könnten in Betracht …

8 neural-network deep-learning batch-normalization

Als «batch-normalization» getaggte Fragen