Gewichtsnormalisierungstechnik, die bei der Bildstilübertragung verwendet wird

Ich versuche, die Papier- Bildstilübertragung mithilfe von Faltungs-Neuronalen Netzen zu implementieren . In Abschnitt 2 - Tiefenbilddarstellungen erwähnen die Autoren die folgende Technik zur Gewichtsnormalisierung:

Wir haben das Netzwerk normalisiert, indem wir die Gewichte so skaliert haben, dass die mittlere Aktivierung jedes Faltungsfilters über Bildern und Positionen gleich eins ist. Eine solche Neuskalierung kann für das VGG-Netzwerk durchgeführt werden, ohne dessen Ausgabe zu ändern, da es nur korrigierende lineare Aktivierungsfunktionen und keine Normalisierung oder Zusammenfassung über Feature-Maps enthält.

Aus einer verwandten Frage , die zuvor gestellt wurde, ging hervor, dass die Autoren die Aktivierungswerte aus Bildern des ILSVRC-Validierungssatzes verwenden, um die Gewichte zu normalisieren.

Ich wollte die mathematische Formulierung einer solchen Normalisierung kennen, da ich selbst keine finden konnte.

Nach meinem Verständnis des Problems habe ich eine Aktivierungskarte (X) und entsprechend K Aktivierungskarten der vorherigen Schicht (L) und eine Gewichtsmatrix (W) mit den Abmessungen 3x3xK, so dass, wenn Schicht L mit gefaltet wird W es erzeugt X. Nachdem ich nun die Aktivierungswerte für alle Neuronen in Schicht L für alle Bilder im Validierungssatz erfasst habe, besteht das Ziel darin, den Mittelwert aller Neuronen in X über alle Bilder im Validierungssatz gleich 1 zu machen durch irgendwie anpassen W.

Ich konnte nicht herausfinden, was ich mit W tun sollte, um dies zu erreichen.

Außerdem wollte ich wissen, ob dies auf kaskadierte (sequentielle) Weise durchgeführt werden soll, indem zuerst die Gewichte der anfänglichen Ebene normalisiert werden und dann die neuen Feature-Maps verwendet werden, um die Gewichte der vor uns liegenden Ebenen oder unabhängig für jede Aktivierungskarte durch Aufnehmen zu normalisieren die Werte der vorherigen Ebene als die ursprünglich vortrainierten Gewichte für jede Aktivierungskarte?

Sie haben Recht, sobald wir die mittleren Feature-Aktivierungen für eine Reihe von Bildern haben, normalisieren wir das Netzwerk nacheinander Schicht für Schicht. Es ist jedoch eine Subtilität beteiligt. Sie können Ebenengewichte nicht unabhängig von den vorherigen Ebenen neu skalieren.

Lassen $W_i^l$ und $b_i^l$ seien die Gewichte und Vorspannung der $i$-th Faltungsfilter in Schicht $l$. Der Kernel$W_i^l$ hat eine 3D-Form mit Abmessungen $h \times w \times c$ (Höhe, Breite, Kanäle_in), aber zur einfacheren Notation auf der Straße lassen Sie es uns umformen $p \times c$, wo $p = h \times w$.

$F_{ij}^l \equiv max(0,\ W_i^l \bullet P_j^{l-1} + b_i^l)$ ist die Aktivierung des $i$-th Filter in Schicht $l$ Bei der $j$-te Position in der Aktivierungskarte. Hier$\bullet$ bezeichnet die Faltungsoperation (oder Frobenius-Innenprodukt oder Multiplikationsaddition; ich habe das Symbol aus Babas Antwort übernommen) und $P_j^{l-1}$ ist das Fenster von $h \times w \times c = p \times c$ Aktivierungen in Schicht $l-1$Ausgang, mit dem sich der Filter an der betrachteten Position zusammenfaltet.

Lassen

$$\mu_i^l \equiv \mathop{\mathbb{E}}_{X, j}F_{ij}^l = \frac{1}{NM^l} \sum_X \sum_{j=1}^{M^l} F_{ij}^l = \frac{1}{NM^l} \sum_X \sum_{j=1}^{M^l} max(0,\ W_i^l \bullet P_j^{l-1} + b_i^l)$$ sei die mittlere Aktivierung der $i$-th Filter in Schicht $l$ über alles $N$ Bilder im Datensatz $X$ und alles $M^l$Positionen in der Aktivierungskarte des Filters. Dies ist offensichtlich eine nicht negative Zahl, und sie ist tatsächlich für alle Filter in den VGG-Netzen positiv (wenn mittlere Aktivierungen über einen Datensatz mit angemessener Größe gesammelt werden).

Nehmen wir nun an, wir "normalisieren" die Aktivierungen, indem wir Gewichte und Vorurteile durch dividieren $\mu_i^l$. Dies würde den Mittelwert der Aktivierung gleich 1 machen, wenn die eingehenden Aktivierungen dieselben wären wie die ursprünglichen nicht normalisierten Aktivierungen . Das ist,$\mathbb{E}_{X, j} max(0,\ \frac{W_i^l}{\mu_i^l} \bullet P_j^{l-1} + \frac{b_i^l}{\mu_i^l}) = 1$, aber nur, wenn die vorherigen Ebenen aktiviert sind $P_j^{l-1}$ sind die gleichen wie im ursprünglichen nicht normalisierten Netzwerk - dem Netzwerk, das wir berechnet haben $\mu_i^l$Dies gilt nur für die erste Conv-Schicht im normalisierten Netzwerk, die Schicht, die sich mit dem Eingabebild faltet. Für andere Schichten führt dies nicht nur zu einer falschen Skalierung, sondern kann auch das Vorzeichen der Faltung umkehren und folglich Aktivierungen nach dem Durchlaufen der ReLU auf Null setzen. Mit anderen Worten, es ändert die Netzwerkausgabe .

Um dies zu beheben, müssen wir eingehende Aktivierungen wiederherstellen. Wir können die eingehenden Werte jedoch nicht selbst ändern. Wir müssen die Normalisierung der vorherigen Ebene mit den Gewichten der aktuellen Ebene rückgängig machen. Beachten Sie, dass ein Gewicht in einem Filter nur mit einem einzelnen Kanal in der vorherigen Ebene interagiert. Also skalieren wir alle Gewichte neu$W_i^l$ die mit dem interagieren $k$-th Kanal in Schicht ${l-1}$ durch Multiplikation mit $\mu_k^{l-1}$. Dies hebt die Normalisierung der vorherigen Ebene auf.

Um zu formalisieren, lassen Sie

$D^{l-1} \equiv \begin{bmatrix} \mu_1^{l-1} & 0 & \dots & 0 \\ 0 & \mu_2^{l-1} & \dots & 0 \\\vdots & & \ddots & \\ 0 & \dots & 0 & \mu_c^{l-1} \end{bmatrix}$ sei die Diagonale $c \times c$ Matrix mit allen konstruiert $c$ mittlere Aktivierungen aus der Schicht $l-1$.

Dann, $\mathbb{E}_{X, j} max(0,\ \frac{W_i^l{D^{l-1}}}{\mu_i^l} \bullet P_j^{l-1} + \frac{b_i^l}{\mu_i^l}) = 1$. (Aus diesem Grund haben wir die Gewichte in 2D umgestaltet, damit wir der Übersichtlichkeit halber Matrizen anstelle von Tensoren multiplizieren können.)

Beachten Sie auch, dass maximale und durchschnittliche Pooling-Ebenen dieses Schema nicht beeinträchtigen, da sie den Maßstab nicht ändern.

Das Obige sieht wahrscheinlich komplexer aus als im eigentlichen Code. Ich habe ein GitHub-Repo mit einer kurzen Keras-Implementierung gepusht: https://github.com/corleypc/vgg-normalize . Ein Blick auf den Beispielcode wird die Dinge wahrscheinlich weiter erläutern.

Kurze Antwort: Nehmen Sie die Aktivierungskarte, die einer bestimmten Gewichtsmatrix entspricht, nehmen Sie den Mittelwert aller Aktivierungen und mitteln Sie diesen Mittelwert über alle Bilder. Teilen Sie dann die Gewichtsmatrix und die Vorspannung durch diesen Durchschnitt. Und ja, es ist sinnvoll, dies nacheinander zu tun.

Lange Antwort: (Unter Verwendung der in dem von Ihnen zitierten Artikel verwendeten Notation)

Der Faltungsoperator für die $i^{th}$ Feature Map führt ein inneres Produkt mit Bildfeldern aus $x_j$::

$$max\{0,\ w_i^{l} \bullet x_{j} + b_j^{l}\} = F_{ij}^l$$

Sie nehmen den Mittelwert der Aktivierungen über alle Bilder $\chi$ und alle räumlichen Orte $j$ (Nennen wir das $s_i$)

$$s_i^{l} \equiv \mathbf{E}_{\chi, j}[max\{0,\ w_i^{l} \bullet x_{j} + b_j^{l}\}] = \frac{1}{KM_l} \sum_{\chi} \sum_{j=1}^{M_l} F_{ij}^l$$

Hier $K$ ist die Anzahl der Bilder im Datensatz.

Jetzt skalieren Sie einfach $w_i^{l}$ und $b_j^{l}$ durch $\frac{1}{s_i^{l}}$, dir geben:

$$\mathbf{E}_{\chi, j}[ max\{0,\ \frac{w_i^{l}}{s_i^{l}} \bullet x_{j} + \frac{b_j^{l}}{s_i^{l}}\}] = 1$$

Dies stellt auch sicher, dass Aktivierungen, die früher Null waren, nachdem sie die RELU-Nichtlinearität durchlaufen haben, dies auch bleiben, d. H.

$$w_i^{l} \bullet x_{j} + b_j^{l}< 0 \iff \frac{w_i^{l}}{s_i^{l}} \bullet x_{j} + \frac{b_j^{l}}{s_i^{l}}< 0$$