Neuronale Architekturen: Datengestütztes automatisches Design

Der jüngste Fortschritt bei neuronalen Netzen wird durch eine Reihe neuer Architekturen zusammengefasst, die sich hauptsächlich durch ihre wachsende Designkomplexität auszeichnen. Von LeNet5 (1994) über AlexNet (2012) bis zu Overfeat (2013) und GoogleLeNet / Inception (2014) und so weiter ...

Gibt es einen Versuch, die Maschine in Abhängigkeit von den Daten entscheiden zu lassen, welche Architektur verwendet werden soll?

Vielleicht möchten Sie sich auch die Literatur zur Neuroevolution ansehen . Beispiele:

• Zaremba, Wojciech. Ilya Sutskever. Rafal Jozefowicz " Eine empirische Untersuchung wiederkehrender Netzwerkarchitekturen. " (2015): verwendete evolutionäre Berechnungen, um optimale RNN-Strukturen zu finden.
• Franck Dernoncourt. " Die mediale retikuläre Formation: ein neuronales Substrat für die Aktionsauswahl? Eine Bewertung durch evolutionäre Berechnung. " Masterarbeit. École Normale Supérieure Ulm. 2011.
• Bayer, Justin, Daan Wierstra, Julian Togelius und Jürgen Schmidhuber. " Entwicklung von Gedächtniszellenstrukturen für das Lernen von Sequenzen. " In International Conference on Artificial Neural Networks, S. 755-764. Springer Berlin Heidelberg, 2009 .: nutzte evolutionäre Berechnungen, um optimale RNN-Strukturen zu finden.

Verstärkung lernen:

• Pham, Hieu, Melodie Y. Guan, Barret Zoph, Quoc V. Le und Jeff Dean. "Effiziente Suche nach neuronaler Architektur über Parameterfreigabe." arXiv-Vorabdruck arXiv: 1802,03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Zoph, Barret und Le, Quoc V. Neuronale Architektursuche mit Bestärkungslernen. In ICLR, 2017. https://arxiv.org/abs/1611.01578
• Jose M. Alvarez, Mathieu Salzmann. Lernen Sie die Anzahl der Neuronen in tiefen Netzwerken. NIPS 2016. https://arxiv.org/abs/1611.06321

• Bowen Baker, Otkrist Gupta, Nikhil Naik und Ramesh Raskar. Entwerfen neuronaler Netzwerkarchitekturen mithilfe von Reinforcement Learning. https://arxiv.org/abs/1611.02167

• Barret Zoph, Quoc V. Le. Neuronale Architektursuche mit Reinforcement Learning. https://arxiv.org/abs/1611.01578

Sonstiges:

• Marcin Andrychowicz, Mischa Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas. Lernen durch Gefälleabstieg durch Gefälleabstieg.https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Young Lee Optimierung neuronaler Netzwerk-Hyperparameter mit Gaußschen Prozessen für die Klassifizierung von Dialogakten IEEE SLT 2016.
• Cortes, Corinna, Xavi Gonzalvo, Vitaly Kusnezow, Mehryar Mohri und Scott Yang. "AdaNet: Adaptives strukturelles Lernen künstlicher neuronaler Netze." arXiv-Vorabdruck arXiv: 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : Ansatz, der sowohl die Struktur des Netzwerks als auch seine Gewichte lernt.

Es scheint, dass sich die Forschung in diese Richtung bewegt:

• Miconi, Thomas. " Neuronale Netze mit differenzierbarer Struktur ", arXiv (2016): Der Autor führt das Konzept der differenzierbaren Netzstruktur ein, um sie in die Zielfunktion aufzunehmen.

Googles AutoML ist ein solches Beispiel. Es wurde erfolgreich auf das ImageNet-Dataset angewendet, was zu NASNet führte , das zum alle anderen Modelle hinsichtlich der Genauigkeit übertroffen hat. Das Hauptpapier ist hier:

Lernen übertragbarer Architekturen für die skalierbare Bilderkennung - Zoph, et. al.