Ich habe einige grundlegende Methoden gefunden, um die Komplexität neuronaler Netze zu messen:
- Naiv und informell: Zählen Sie die Anzahl der Neuronen, verborgenen Neuronen, Schichten oder verborgenen Schichten
- VC-Dimension (Eduardo D. Sontag [1998] "VC-Dimension neuronaler Netze" [ pdf ].)
- Ein körniger und asymptotischer Rechenaufwand wird durch Äquivalenz zu gemessen .
Gibt es noch andere Alternativen?
Es ist bevorzugt:
- Wenn die Komplexitätsmetrik verwendet werden könnte, um neuronale Netze aus verschiedenen Paradigmen (zur Messung von Backprop, dynamischen neuronalen Netzen, Kaskadenkorrelation usw.) im gleichen Maßstab zu messen. Zum Beispiel kann die VC-Dimension für verschiedene Typen in Netzwerken (oder sogar für andere Dinge als neuronale Netzwerke) verwendet werden, während die Anzahl der Neuronen nur zwischen sehr spezifischen Modellen nützlich ist, bei denen die Aktivierungsfunktion, Signale (Grundsummen vs. Spitzen) und andere Eigenschaften des Netzwerks sind die gleichen.
- Wenn es gute Übereinstimmungen mit Standardmaßen der Komplexität von Funktionen hat, die vom Netzwerk erlernt werden können
- Wenn es einfach ist, die Metrik in bestimmten Netzwerken zu berechnen (letzteres ist jedoch kein Muss.)
Anmerkungen
Diese Frage basiert auf einer allgemeineren Frage zu CogSci.SE.
neural-networks
theory
vc-dimension
pac-learning
Artem Kaznatcheev
quelle
quelle
Antworten:
Vielleicht möchten Sie einen Blick auf die Zeitung werfen "(Not) Bounding the True Error von John Langford & Rich Caruana (NIPS, 2001)
Die Zusammenfassung lautet:
Sie zeigen, dass Sie PAC-Bayes-Stilgrenzen auf stochastische neuronale Netze anwenden können. Die Analyse gilt jedoch nur für 2-Schicht-Feed-Forward-Neuronale Netze mit einer Sigmoid-Übertragungsfunktion. In diesem Fall hängt der Komplexitätsterm nur von der Anzahl der Knoten und der Varianz der Gewichte ab. Sie zeigen, dass für diese Einstellung die Grenze effektiv vorhersagt, wann ein Übertraining auftreten wird. Leider trifft es keine Ihrer "bevorzugten" Eigenschaften!
quelle
Darüber hinaus könnten Sie auch Interesse an der fettsplitternden Dimensionsarbeit von Professor Peter Bartlett haben. Hier ist eine Einführung in die Analyse der Komplexität neuronaler Netze in einem IEEE-Papier von 1998: Die Beispielkomplexität der Musterklassifizierung mit neuronalen Netzen: Die Größe der Gewichte ist wichtiger als die Größe des Netzes (Bartlett 1998) [ http: //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]
quelle