Ich beginne meine Doktorandenreise und das ultimative Ziel, das ich mir gesetzt habe, ist die Entwicklung von ANNs, die die Umgebung überwachen, in der sie arbeiten, und ihre Architektur dynamisch an das jeweilige Problem anpassen. Die offensichtliche Implikation ist die Zeitlichkeit der Daten: Wenn der Datensatz nicht kontinuierlich ist und sich im Laufe der Zeit nicht ändert, warum überhaupt anpassen?
Die große Frage ist: Ist es angesichts des jüngsten Aufstiegs des tiefen Lernens immer noch ein relevantes Thema? Haben FFNNs die Chance, eine Nische in Konzeptdriftproblemen zu finden?
Ich befürchte, den Thread mit zu vielen Fragen zu überladen, aber diese Frage ist nicht völlig unangebracht: Ich kenne RNNs, habe aber nur begrenzte (ok, keine oder rein theoretische) Erfahrungen mit ihnen. Ich glaube, dass die Anpassung der dynamischen Architektur ein relevantes Thema im Kontext von RNNs sein muss. Die Frage ist, wurde sie bereits beantwortet und werde ich das Rad neu erfinden?
PS Cross-posted zu MetaOptimize
quelle
Antworten:
Neuronale Netze mit Kaskadenkorrelation passen ihre Struktur an, indem sie während des Trainings versteckte Knoten hinzufügen. Dies kann also ein Ausgangspunkt sein. Die meisten anderen Arbeiten, die ich gesehen habe und die automatisch die Anzahl der Schichten, die Anzahl der versteckten Knoten usw. eines neuronalen Netzwerks anpassen, verwenden evolutionäre Algorithmen.
Leider ist diese Arbeit nicht in meinem Bereich, daher kann ich keine bestimmten Artikel oder Referenzen empfehlen, um Ihnen den Einstieg zu erleichtern. Ich kann Ihnen sagen, dass ich keine Arbeit gesehen habe, die versucht, die Netzwerkstruktur und -parameter gleichzeitig innerhalb der Deep-Learning-Community zu optimieren. Tatsächlich basieren die meisten Deep-Learning-Architekturen darauf, gierig jeweils eine Schicht zu lernen, wodurch selbst das Online-Lernen von tiefen neuronalen Netzen zu einem eher unberührten Bereich wird (die Arbeit von Martens et al. Über die hessische freie Optimierung ist eine bemerkenswerte Ausnahme).
quelle
Ein weiterer Grund für die Entwicklung neuartiger Ansätze für konstruktive neuronale Netze (wie der erwähnte CC-Algorithmus @alto) liegt in Anwendungen außerhalb der Statistik . Insbesondere in der theoretischen Neurowissenschaft und Kognitionswissenschaft werden aufgrund einer metaphorischen Ähnlichkeit mit Entwicklung und Neurogenese häufig konstruktive neuronale Netze verwendet. Ein Beispiel für die starke Verwendung der Kaskadenkorrelation finden Sie in Veröffentlichungen von Thomas R. Shultz . Leider ist der Kaskadenkorrelationsansatz biologisch unrealistisch, und wenn Sie eine neurowissenschaftliche Biegung haben, sollten Sie überlegen, wie neue NNs mit einstellbarer Architektur als bessere Modelle für Entwicklung und / oder Neurogenese verwendet werden können.
quelle