Statistiken und Big Data batch-normalization

2

Wie und warum verwendet die Batch-Normalisierung gleitende Mittelwerte, um die Genauigkeit des Modells während des Trainings zu verfolgen?

Ich habe das Batch-Normalisierungspapier ( 1) gelesen und nicht verstanden, dass es notwendig ist, gleitende Durchschnitte zu verwenden, um die Genauigkeit des Modells zu verfolgen, und selbst wenn ich akzeptiere, dass dies das Richtige ist, verstehe ich es nicht was sie genau tun. Nach meinem Verständnis (was ich falsch finde) …

20 machine-learning neural-networks deep-learning conv-neural-network batch-normalization

1

Matrixform der Rückausbreitung mit Chargennormalisierung

Der Batch-Normalisierung wurden erhebliche Leistungsverbesserungen in tiefen neuronalen Netzen zugeschrieben. Zahlreiches Material im Internet zeigt, wie es von Aktivierung zu Aktivierung umgesetzt werden kann. Ich habe Backprop bereits mithilfe der Matrixalgebra implementiert, und da ich in Hochsprachen arbeite (während ich mich auf Rcpp(und möglicherweise auch auf GPUs) für eine dichte …

12 machine-learning neural-networks deep-learning backpropagation batch-normalization

1

Warum hat die Chargennorm eine lernbare Skalierung und Verschiebung?

Soweit ich weiß, normalisiert die Batch-Norm alle Eingabemerkmale einer Schicht auf eine Einheitsnormalverteilung . Der Mittelwert und die Varianz μ , σ 2 werden geschätzt, indem ihre Werte für die aktuelle Mini-Charge gemessen werden.N.( μ = 0 , σ= 1 )N(μ=0,σ=1)\mathcal{N}(\mu=0,\sigma=1)μ , σ2μ,σ2\mu, \sigma^2 Nach der Normalisierung werden die Eingänge …

11 batch-normalization

2

Gibt es Möglichkeiten, mit dem verschwindenden Gradienten für die Sättigung von Nichtlinearitäten umzugehen, bei denen keine Chargennormalisierung oder ReLu-Einheiten erforderlich sind?

Ich wollte ein Netzwerk mit Nichtlinearitäten trainieren, die unter dem Verschwinden leiden (oder dem explodierenden Gradientenproblem, obwohl es hauptsächlich verschwindet). Ich weiß, dass die (derzeitige) Standardmethode darin besteht, die Chargennormalisierung 1 [BN] 1 zu verwenden oder einfach die Nichtlinearität aufzugeben und ReLu- Gleichrichter- / ReLu- Einheiten zu verwenden. Ich wollte …

8 machine-learning neural-networks conv-neural-network batch-normalization

2

Wie berechnet die Chargennormalisierung die Bevölkerungsstatistik nach dem Training?

Ich habe das Papier zur Chargennormalisierung (BN) (1) gelesen und es stand: Zu diesem Zweck verwenden wir nach dem Training des Netzwerks die Normalisierung Verwendung der Grundgesamtheit anstelle von mini -Batch, Statistiken.x^=x - E.[ x ]V.a r [ x ] + ϵ- -- -- -- -- -- -- -- -√x^=x- …

7 machine-learning neural-networks deep-learning conv-neural-network batch-normalization

Als «batch-normalization» getaggte Fragen