Können Sie die lineare Einbettungsschicht im neuronalen Faltungsnetzwerk nicht herausfinden?

11

Ich habe die Netzwerkarchitektur aus dem Papier „Lernfeinkörniges Bild Ähnlichkeit mit tiefem Ranking“ und ich bin nicht in der Lage, herauszufinden , wie die Ausgabe von dem drei parallelen Netzwerk verschmolzen wird , um die linear mit Einbettungsschicht. Die einzigen Informationen, die auf dieser Ebene im Papier angegeben sind, sind

Schließlich normalisieren wir die Einbettungen aus den drei Teilen und kombinieren sie mit einer linearen Einbettungsschicht. Die Dimension der Einbettung beträgt 4096.

Kann mir jemand helfen, herauszufinden, was genau der Autor meint, wenn er über diese Ebene spricht?

neural-network deep-network

— A. Sam
quelle

Es ist für mich bedauerlich, dass es auf diese Frage keine Antwort gibt. Weil ich mit genau dem gleichen Problem festgefahren bin. Hast du es herausgefunden?

— LKM

Ich habe die Antwort nicht herausgefunden, aber ich habe nur die Eingabe aus den drei Teilen verkettet und sie durch eine dichte Schicht mit 4096 Knoten geleitet.

— A. Sam

1

Die lineare Einbettungsschicht muss nur ein ausgefallener Name für eine dichte Schicht ohne Aktivierung sein. 'Linear' bedeutet, dass keine Aktivierung erfolgt (Aktivierung ist Identität). Und die Einbettung ist eher ein Konzept für eine Vektordarstellung der Eingabedaten (z. B. Worteinbettungen). Ich glaube, die Elemente aus dem zweiten Vektor werden einfach elementweise zum ersten hinzugefügt.

— Dmytro Prylipko
quelle

0

Es wird in der Zeitung erwähnt:

Eine lokale Normalisierungsschicht normalisiert die Merkmalskarte um eine lokale Nachbarschaft, um eine Einheitennorm und einen Mittelwert von Null zu erhalten. Dies führt zu Feature-Maps, die gegenüber den Unterschieden in Beleuchtung und Kontrast robust sind.

Sie nehmen jeden Teil des Modells und normalisieren ihn separat.

Wie Sie kommentiert haben, können Sie sie kombinieren, um die hervorstechendsten Merkmale zu erfassen, wobei die nicht vollständige Darstellung keine Notwendigkeit für die Nichtlinearität darstellt.

— Fadi Bakoura
quelle