Ich habe in Google, Wikipedia, Google Scholar und anderen Quellen gesucht, aber den Ursprung der Autoencoder nicht gefunden. Vielleicht ist es eines dieser Konzepte, das sich sehr allmählich weiterentwickelt hat, und es ist unmöglich, einen klaren Ausgangspunkt zu finden, aber ich möchte dennoch eine Art Zusammenfassung der wichtigsten Schritte ihrer Entwicklung finden.
Das Kapitel über Autoencoder in Ian Goodfellow, Yoshua Bengio und Aaron Courvilles Deep Learning-Buch lautet:
Die Idee der Autoencoder ist seit Jahrzehnten Teil der historischen Landschaft der Neuronalen Netze (LeCun, 1987; Bourlard und Kamp, 1988; Hinton und Zemel, 1994). Traditionell wurden Autoencoder zur Dimensionsreduzierung oder zum Merkmalslernen verwendet.
Diese Präsentation von Pascal Vincent sagt:
Das Entrauschen mit klassischen Autoencodern wurde bereits viel früher (LeCun, 1987; Gallinari et al., 1987) als Alternative zu Hopfield-Netzwerken eingeführt (Hopfield, 1982).
Dies scheint darauf hinzudeuten, dass "klassische Autoencoder" vorher existierten: LeCun und Gallinari verwendeten sie, erfanden sie aber nicht. Ich sehe keine Spur von "klassischen Autoencodern" vor 1987.
Irgendwelche Ideen?
quelle
Die folgende Abhandlung handelt indirekt von Autoencoder und stammt aus dem Jahr 1986. (Dies ist ein Jahr früher als die Abhandlung von Ballard im Jahr 1987)
DE Rumelhart, GE Hinton und RJ Williams, "Lernen interner Repräsentationen durch Fehlerausbreitung." , Parallele verteilte Verarbeitung. Band 1: Stiftungen. MIT Press, Cambridge, MA, 1986.
Der Aufsatz beschreibt im Grunde genommen eine neuartige Art von Feedforward-Netzwerk zu dieser Zeit und seinen mathematischen Formalismus.
quelle