Was ist der Ursprung der Autoencoder-Neuronalen Netze?

13

Ich habe in Google, Wikipedia, Google Scholar und anderen Quellen gesucht, aber den Ursprung der Autoencoder nicht gefunden. Vielleicht ist es eines dieser Konzepte, das sich sehr allmählich weiterentwickelt hat, und es ist unmöglich, einen klaren Ausgangspunkt zu finden, aber ich möchte dennoch eine Art Zusammenfassung der wichtigsten Schritte ihrer Entwicklung finden.

Das Kapitel über Autoencoder in Ian Goodfellow, Yoshua Bengio und Aaron Courvilles Deep Learning-Buch lautet:

Die Idee der Autoencoder ist seit Jahrzehnten Teil der historischen Landschaft der Neuronalen Netze (LeCun, 1987; Bourlard und Kamp, 1988; Hinton und Zemel, 1994). Traditionell wurden Autoencoder zur Dimensionsreduzierung oder zum Merkmalslernen verwendet.

Diese Präsentation von Pascal Vincent sagt:

Das Entrauschen mit klassischen Autoencodern wurde bereits viel früher (LeCun, 1987; Gallinari et al., 1987) als Alternative zu Hopfield-Netzwerken eingeführt (Hopfield, 1982).

Dies scheint darauf hinzudeuten, dass "klassische Autoencoder" vorher existierten: LeCun und Gallinari verwendeten sie, erfanden sie aber nicht. Ich sehe keine Spur von "klassischen Autoencodern" vor 1987.

Irgendwelche Ideen?

neural-networks autoencoders history

— MiniQuark
quelle

9

Gemäß der Geschichte zur Verfügung gestellt in Schmidhuber, " Tief Lernen in neuronalen Netzen: Eine Übersicht ," Neural Networks (2015), Auto-Encoder wurde als Verfahren zum unbeaufsichtigten vor dem Training in Ballard, "Modular Lernen in neuronalen Netzen" vorgeschlagen Proceedings AAAI (1987). Es ist jedoch nicht klar, ob dies das erste Mal ist, dass Auto-Encoder verwendet wurden. Es ist nur das erste Mal, dass sie zum Zweck der Vorschulung von ANNs verwendet wurden .

Wie die Einleitung zum Schmidhuber-Artikel verdeutlicht, ist es etwas schwierig, alle in ANNs verwendeten Ideen zuzuordnen, da die Literatur vielfältig ist und sich die Terminologie im Laufe der Zeit weiterentwickelt hat.

— Sycorax sagt Reinstate Monica
quelle

1

Das von Ballard geschriebene Papier hat eine völlig andere Terminologie, und es gibt nicht einmal einen Hauch von dem Autoencoder-Konzept in seiner Gesamtheit. Vielleicht hat AE kein Ursprungspapier.

— Abunickabhi

2

Das Schmudhuber-Papier betont, dass sich die Terminologie im Laufe der Zeit geändert hat und verschiedene Personen dieselben Themen immer wieder neu entdeckt haben. Es ist nicht verwunderlich, dass der Autor das Wort "Auto Encoder" nicht verwendet

— Sycorax sagt Reinstate Monica

4

Die folgende Abhandlung handelt indirekt von Autoencoder und stammt aus dem Jahr 1986. (Dies ist ein Jahr früher als die Abhandlung von Ballard im Jahr 1987)

DE Rumelhart, GE Hinton und RJ Williams, "Lernen interner Repräsentationen durch Fehlerausbreitung." , Parallele verteilte Verarbeitung. Band 1: Stiftungen. MIT Press, Cambridge, MA, 1986.

Der Aufsatz beschreibt im Grunde genommen eine neuartige Art von Feedforward-Netzwerk zu dieser Zeit und seinen mathematischen Formalismus.

— abunickabhi
quelle