Gibt es neuronale Netze, die entscheiden können, Neuronen hinzuzufügen / zu löschen (oder die Neuronenmodelle / Aktivierungsfunktionen zu ändern oder die zugewiesene Bedeutung für Neuronen zu ändern), Verknüpfungen oder sogar vollständige Schichten während der Ausführungszeit?
Ich vermute, dass solche neuronalen Netze die übliche Trennung von Lern- / Inferenzphasen überwinden und kontinuierlich ihr Leben leben, in dem Lernen und Selbstverbesserung stattfinden, zusammen mit Inferenz und tatsächlicher Entscheidungsfindung, für die diese neuronalen Netze gebaut wurden. Tatsächlich könnte es sich um ein neuronales Netzwerk handeln, das als Gödel-Maschine fungiert .
Ich habe den Begriff dynamisches neuronales Netzwerk gefunden, aber er ist mit dem Hinzufügen einiger Verzögerungsfunktionen und nichts weiter verbunden.
Natürlich definieren solche sich selbst verbessernden Netzwerke die Lernstrategie völlig neu, möglicherweise können Single-Shot-Gradientenmethoden nicht auf sie angewendet werden.
Meine Frage hängt mit der neuronal-symbolischen Integration zusammen, z. B. Neural-Symbolic Cognitive Reasoning von Artur S. D'Avila Garcez, 2009 . Normalerweise weist dieser Ansatz einzelnen Variablen den Variablen (oder Gruppen von Neuronen der Formel / Regel) im Satz von Formeln in einer Wissensbasis zu. Wenn sich die Wissensbasis erweitert (z. B. aus Sensorwerten oder aus inneren nichtmonotonen Schlussfolgerungen), sollten natürlich neue Variablen hinzugefügt werden, und daher sollte auch das neuronale Netzwerk erweitert (oder verkleinert) werden.
Antworten:
Ich habe hauptsächlich HMMs studiert und solche Modelle werden in diesem speziellen Bereich als unendliche HMMs bezeichnet.
Ich glaube, dass das, wonach Sie suchen, unendliche neuronale Netze heißt. Da ich keinen Zugang zu wissenschaftlichen Veröffentlichungen habe, kann ich hier keine Arbeit verweisen. Ich habe jedoch dieses GitHub-Repository gefunden: https://github.com/kutoga/going_deeper , das eine Implementierung und ein Dokument mit mehreren Referenzen enthält.
quelle
Dieser Artikel über dynamisch erweiterbare neuronale Netze (DEN) (von Harshvardhan Gupta) basiert auf diesem Artikel Lebenslanges Lernen mit dynamisch erweiterbaren Netzen (von Jeongtae Lee, Jaehong Yoon, Eunho Yang und Sung Ju Hwang).
Hier werden drei Lösungen vorgestellt, mit denen die Kapazität des Netzwerks bei Bedarf erhöht werden kann, wobei alle nützlichen Informationen aus dem alten Modell beibehalten und das neue Modell trainiert werden:
Mir scheint, dass ein solches neuronales Netzwerk dynamisch ist und sich verbessert. Als solche beantworten sie teilweise Ihre Frage. Wenn es ihnen nicht leid tut.
quelle