1D-Faltung in neuronalen Netzen

Ich verstehe, wie Faltung funktioniert, aber ich verstehe nicht, wie 1D-Faltungen auf 2D-Daten angewendet werden.

2D-Faltung

In diesem Beispiel sehen Sie eine 2D-Faltung in 2D-Daten. Aber wie wäre es, wenn es eine 1D-Faltung wäre? Nur ein 1D-Kernel, der auf die gleiche Weise gleitet? Und wenn der Schritt 2 war?

Vielen Dank!

conv-neural-network

— Gustavo
quelle

Schauen Sie sich einfach die erste Zeile jeder Matrix an.

— Piotr Migdal

Können Sie mir ein Beispiel geben?

— Gustavo

1d-Windungen wären für ein striktes 2D-Bild nicht wirklich nützlich. Nicht-Graustufenbilder sind technisch 3D, da sie drei Farbkanäle haben.

— Ethan

@Gustavo Wie dieser: toto-share.com/wp-content/uploads/2011/11/… Es sei denn, Sie meinen 1x1-Faltung (im Sinne von neuronalen Netzen), was etwas anderes ist.

— Piotr Migdal

Mein Problem sind Faltungen wie: d3kbpzbmcynnmx.cloudfront.net/wp-content/uploads/2015/11/… Es gibt zwei Faltungen, eine mit Kernelgröße 3 und eine mit Größe 2 ... Aber diese Kernel sind 1D oder Größe xk ?

— Gustavo

Antworten:

Sei eine Folge von Vektoren (z. B. Wortvektoren). Das Anwenden einer Faltungsschicht entspricht dem Anwenden der gleichen Gewichtsmatrizen auf alle n-Gramm, wobei die Höhe Ihres Filters ist. Wenn beispielsweise , können Sie es wie folgt visualisieren: $x_1, …,x_n$ $n$ $n=3$

Eine etwas mathematischere Erklärung finden Sie in Ji Young Lee, Franck Dernoncourt. " Sequentielle Kurztextklassifikation mit wiederkehrenden und faltungsbedingten neuronalen Netzen ". NAACL 2016 . Abschnitt 2.1.2:

— Franck Dernoncourt
quelle

1D-Faltungen werden in Faltungsnetzwerken zum Abwärts- und Aufwärtsabtasten in der Filterdimension verwendet. Faltungsnetzwerke bauen diese Filterkarten auf, während Sie durch das Netzwerk gehen. Sie können sie sich wirklich als eine dritte Dimension vorstellen. Der übliche Grundfall für die Filterkartengröße ist eine Größe von 3, da häufig RGB-Bilder durch unser Netzwerk geleitet werden.

Diese 1D-Faltungen können nützlich sein, um eine Abtastung durchzuführen, eine Operation auszuführen und dann eine Abtastung auf dieselbe Dimension vorzunehmen. Dies ist aus Leistungsgründen sehr nützlich.

Um wirklich intuitiv zu verstehen, würde ich empfehlen zu lesen:

Netzwerk im Netzwerk - http://arxiv.org/abs/1312.4400

Mit Faltungen tiefer gehen - https://www.google.com/url?sa=t&source=web&rct=j&url=http://www.cs.unc.edu/~wliu/papers/GoogLeNet.pdf&ved=0ahUKEwi89oeuxqnLAhXhuIMKHGGGGGGGGGGGGGGGG rrECNQ72wI3PH1Qw & sig2 = VhjfaMvuskNIDVKhFfNiqQ

— Ethan
quelle

Es scheint, dass Sie eher von 1x1-Faltungen (im Sinne von neuronalen Netzen) als von 1D-Faltungen sprechen.

— Piotr Migdal

Richtig, ich nahm an, dass neuronale Netze beteiligt waren. Ich bin auf einen Link zu dieser Frage zu / r / MLQuestions on reddit gestoßen, also habe ich angenommen, dass es sich um ML handelt. Aber für eine einfache Faltung ist dies nicht so relevant: P.

— Ethan