Beziehen sich verbleibende Netzwerke auf die Erhöhung des Gradienten?

11

Kürzlich haben wir die Entstehung des verbleibenden neuronalen Netzes gesehen, bei dem jede Schicht aus einem Rechenmodul $c_i$ und einer Verknüpfungsverbindung besteht, die die Eingabe in die Schicht beibehält, wie die Ausgabe der i-ten Schicht zeigt:

y_{i + 1} = c_{i} + y_{i}

$y_{i+1} = c_i + y_i$ Das Netzwerk ermöglicht das Extrahieren von Restmerkmalen und ermöglicht eine tiefere Tiefe, während es gleichzeitig robuster gegenüber dem Problem des verschwindenden Gradienten ist und eine Leistung auf dem neuesten Stand der Technik erzielt.

Nachdem man sich mit Gradientenverstärkung befasst hat , einer sehr leistungsfähigen Ensemble-Technik in der Welt des maschinellen Lernens, die auch eine Form der Gradientenoptimierung für den Rest des Verlusts durchzuführen scheint, ist es schwierig, irgendeine Form von Ähnlichkeit nicht zu erkennen.

Ich weiß, dass sie ähnlich, aber nicht gleich sind - ein Hauptunterschied, den ich bemerkt habe, ist, dass die Gradientenverstärkung eine Optimierung des additiven Terms durchführt, während das verbleibende Netz das gesamte Netzwerk optimiert.

Ich habe nicht gesehen, dass He et al dies als Teil ihrer Motivation in ihrer Originalarbeit notierten . Ich habe mich gefragt, was Sie zu diesem Thema wissen, und Sie gebeten, interessante Ressourcen zu teilen, über die Sie verfügen.

Vielen Dank.

— Rhadar
quelle

7

Möglicherweise ein neueres Papier, das versucht, mehr davon vom Langford- und Shapire-Team anzusprechen: Deep ResNet-Blöcke nacheinander mithilfe der Boosting-Theorie lernen

Teile von Interesse sind (siehe Abschnitt 3):

Der Hauptunterschied besteht darin, dass Boosten ein Ensemble geschätzter Hypothesen ist, während ResNet ein Ensemble geschätzter Merkmalsdarstellungen ist. $\sum_{t=0}^T f_t(g_t(x))$ . Um dieses Problem zu lösen, führen wir über jedem Restblock einen linearen Hilfsklassifikator $\mathbf{w}_t$ ein, um ein Hypothesenmodul zu erstellen . Formal ist ein Hypothesenmodul definiert als
$o_{t} (x) := w_{t}^{T} g_{t} (x) \in R$ $o_t(x) := \mathbf{w}_t^T g_t(x) \in \mathbb{R}$

...

(wobei) $o_t(x) = \sum_{{t'} = 0}^{t-1} \mathbf{w}_t^T f_{t'}(g_{t'}(x))$

Das Papier geht viel detaillierter auf die Konstruktion des schwachen Modulklassifikators $h_t(x)$ und dessen Integration in den BoostResNet- Algorithmus ein.

Wenn Sie dieser Antwort etwas mehr Details hinzufügen, können alle Boosting-Algorithmen in irgendeiner Form von [1] geschrieben werden (S. 5, 180, 185 ...):

F_{T} (x) := \sum_{t = 0}^{T} α_{t} h_{t} (x)

$F_T(x) := \sum_{t=0}^T \alpha_t h_t(x)$

Wobei $h_t$ die schwache Hypothese $t^{th}$ , für eine Wahl von $\alpha_t$ . Es ist zu beachten, dass unterschiedliche Boosting-Algorithmen auf unterschiedliche Weise $\alpha_t$ und $h_t$ .

Zum Beispiel verwendet AdaBoost [1] (S. 5) $h_t$ um den gewichteten Fehler $\epsilon_t$ mit zu minimieren $\alpha_t = \frac{1}{2} \log \frac{1- \epsilon_t}{\epsilon_t}$

Andererseits wird in der Gradientenverstärkungseinstellung [1] (S. 190.) $h_t$ ausgewählt, das $\nabla\mathcal{L}(F_{t-1}(x)) \cdot h_t$ maximiert , und $\alpha_t > 0$ wird gewählt (als Lernrate) etc)

Wo wie in [2] unter Lemma 3.2 gezeigt wird, dass die Ausgabe von Tiefe $T$ ResNet $F(x)$ was äquivalent zu ist

F (x) \propto \sum_{t = 0}^{T} h_{t} (x)

$F(x) \propto \sum_{t=0}^T h_t(x)$

Damit ist die Beziehung zwischen Boosting und Resnet abgeschlossen. In der Arbeit [2] wird vorgeschlagen, eine lineare Hilfsschicht hinzuzufügen, um sie in die Form $F_T(x) := \sum_{t=0}^T \alpha_t h_t(x)$ , was zu ihrem BoostResNet-Algorithmus und einigen Diskussionen darüber führt

[1] Robert E. Schapire und Yoav Freund. 2012. Boosting: Grundlagen und Algorithmen. Die MIT-Presse. S. 5, 180, 189
[2] Furong Huang, Jordan Ash, John Langford, Robert Schapire: Sequentielles Lernen von Deep ResNet-Blöcken mithilfe der Boosting-Theorie, ICML 2018

— Chappers
quelle

4

Beantwortung meiner eigenen Frage: Ich habe ein bemerkenswertes Papier gefunden , das untersucht und beweist, dass Deep Residual Networks tatsächlich ein Ensemble flacher Netzwerke sind.

EINE ANDERE BEARBEITUNG, nachdem ich dieses Problem besser verstanden habe: Ich betrachte Resnets als einen Weg, um 'Feature Boosting' zu lernen. Die Restverbindung führt eine Verstärkung durch, jedoch nicht für das Objektiv, sondern tatsächlich für die Ausgangsmerkmale der nächsten Schicht. Sie sind also tatsächlich miteinander verbunden, aber es handelt sich nicht um eine klassische Gradientenverstärkung, sondern um eine "Gradientenmerkmalssteigerung".

— rhadar
quelle