Können Schichten tiefer neuronaler Netze als Hopfield-Netze angesehen werden?

Hopfield-Netzwerke können einen Vektor speichern und ab einer verrauschten Version abrufen. Sie setzen dabei Gewichte, um die Energiefunktion zu minimieren, wenn alle Neuronen gleich den Vektorwerten sind, und rufen den Vektor ab, indem sie die verrauschte Version als Eingabe verwenden und es dem Netz ermöglichen, sich auf ein Energieminimum einzustellen.

Abgesehen von Problemen wie der Tatsache, dass es keine Garantie dafür gibt, dass sich das Netz auf das nächste Minimum einstellt usw. - Probleme, die schließlich mit Boltzmann-Maschinen und schließlich mit der Rückausbreitung gelöst wurden - war der Durchbruch, dass sie ein Ausgangspunkt für abstrakte Darstellungen sind. Zwei Versionen desselben Dokuments würden denselben Status zurückrufen, sie würden im Netzwerk durch denselben Status dargestellt.

Wie Hopfield selbst in seiner Arbeit von 1982 schrieb. Neuronale Netze und physikalische Systeme mit neuen kollektiven Rechenfähigkeiten

Die vorliegende Modellierung könnte sich dann darauf beziehen, wie eine Entität oder Gestalt auf der Grundlage von Eingaben, die eine Sammlung ihrer Merkmale darstellen, gespeichert oder kategorisiert wird.

Auf der anderen Seite war der Durchbruch des Deep Learning die Fähigkeit, mehrere hierarchische Darstellungen der Eingabe zu erstellen, was schließlich dazu führte, das Leben von KI-Praktikern zu vereinfachen und das Feature-Engineering zu vereinfachen. (Siehe z. B. Repräsentationslernen: Ein Rückblick und neue Perspektiven , Bengio, Courville, Vincent).

Aus konzeptioneller Sicht kann man Deep Learning als Verallgemeinerung von Hopfield-Netzen betrachten: von einer einzelnen Darstellung zu einer Hierarchie der Darstellung.

Gilt das auch aus rechnerischer / topologischer Sicht? Wenn man nicht berücksichtigt, wie "einfach" Hopfield-Netzwerke waren (2-Zustands-Neuronen, ungerichtet, Energiefunktion), kann man jede Schicht eines Netzwerks als Hopfield-Netzwerk und den gesamten Prozess als sequentielle Extraktion zuvor gespeicherter Gestalt und als Reorganisation von betrachten diese Gestalt?

Deep Learning ist keine Verallgemeinerung von Hopfield-Netzwerken. Deep Learning ist eine "Verallgemeinerung" des von Rumelhart und McClelland begonnenen Feldes Neuronale Netze / Konnektionismus.

Es gibt zwei Arten von neuronalen Netzen:

• Regie (Perceptron, MLP, ConvNets, RNNs usw.)
• Ungerichtet (Hopfield-Netze, Boltzmann-Maschinen, energiebasierte Modelle usw.)

Jedes davon kann tief gemacht werden. Wie Sie sagten, sind Boltzmann-Maschinen die probabilistische Version von Hopfield Networks, und es wurde viel mehr an der Vertiefung dieser Modelle gearbeitet als an Hopfield-Netzen: Deep Boltzmann-Maschinen, Deep Belief Networks und Deep Energy-Modelle. Hinton ist wirklich der Typ, den Sie lesen möchten, um mehr über diese Modelle zu erfahren, aber Sie können sich dieses Papier ansehen, in dem die drei Modelle verglichen werden.

Ich bin mir nicht sicher über die Gestaltorganisation. Ich überlasse das wohl Ihrer Interpretation.