Warum ist in neuronalen Faltungsnetzen ein maximales Pooling erforderlich?

18

Die meisten gängigen neuronalen Faltungsnetze enthalten Pooling-Schichten, um die Dimensionen der Ausgabe-Features zu reduzieren. Warum konnte ich nicht dasselbe erreichen, indem ich einfach den Schritt der Faltungsschicht beschleunigte? Was macht die Pooling-Schicht notwendig?

deep-learning conv-neural-network pooling

— user3667089
quelle

16

Sie können das in der Tat tun, siehe Streben nach Einfachheit: Das All Convolutional Net . Durch das Poolen erhalten Sie eine gewisse Übersetzungsinvarianz, die hilfreich sein kann oder auch nicht. Pooling ist außerdem schneller zu berechnen als Faltungen. Trotzdem können Sie immer versuchen, Pooling durch Faltung durch Schritt zu ersetzen und zu sehen, was besser funktioniert.

Einige aktuelle Arbeiten verwenden ein durchschnittliches Pooling ( Wide Residual Networks , DenseNets ), andere verwenden eine Faltung mit Schritt ( DelugeNets ).

— robintibor
quelle

Ich habe einen meiner Freunde danach gefragt und er sagte, dass die Pooling-Schichten besser sind, weil sie die Nichtlinearität einführen. Sind Sie einverstanden?

— user3667089

7

Hm nicht so sicher, ob ich damit einverstanden bin. Durch die Aktivierungsfunktionen ist in den Netzwerken bereits eine Art von Nichtlinearität vorhanden. Das durchschnittliche Pooling führt auch zu keiner zusätzlichen Nichtlinearität. Es ist eine lineare Operation, sodass nur das maximale Pooling nichtlinear ist. Und ich denke, die Frage ist mehr, ob Sie die Regularisierung wollen, die Ihnen Pooling bringt - ein bisschen mehr translationale Invarianz.

— robintibor

4

Anscheinend hilft Max-Pooling, weil es die schärfsten Merkmale eines Bildes extrahiert. Bei einem Bild sind die schärfsten Merkmale die beste Darstellung eines Bildes auf niedrigerer Ebene. https://www.quora.com/Was-ist-der-Nutzen-der-Nutzung-von-Mittelwert-Pooling- statt-maximalen-Pooling

Aber laut Andrew Ngs Deep Learning-Vortrag funktioniert Max Pooling gut, aber niemand weiß warum. Zitat -> "Aber ich muss zugeben, ich denke, der Hauptgrund, warum die Leute Max-Pooling verwenden, ist, dass es in vielen Experimenten gefunden wurde, um gut zu funktionieren zugrunde liegender Grund. "

— Yi Xiang Chong
quelle