Minimale Anzahl von Schichten in einem tiefen neuronalen Netzwerk

Ab wann werden mehrschichtige neuronale Netze als tiefe neuronale Netze klassifiziert oder anders ausgedrückt: Wie viele Schichten müssen mindestens in einem tiefen neuronalen Netz vorhanden sein?

"Deep" ist ein Marketingbegriff: Sie können ihn daher immer dann verwenden, wenn Sie Ihr mehrschichtiges neuronales Netzwerk vermarkten möchten.

"Tief"
Eines der frühesten tiefen neuronalen Netze hat drei dicht verbundene verborgene Schichten ( Hinton et al. (2006) ).

"Very Deep"
2014 haben die "very deep" -VGG- Netzwerke Simonyan et al. (2014) bestehen aus mehr als 16 versteckten Ebenen.

"Extrem tief"
Die "extrem tiefen" Restnetzwerke He et al. (2016) bestehen aus 50 bis zu 1.000 versteckten Ebenen.

Nach der Literatur,

Schmidhuber, J. (2015). "Deep Learning in neuronalen Netzen: Ein Überblick". Neuronale Netze. 61: 85–117. arXiv: 1404.7828lesefrei. doi: 10.1016 / j.neunet.2014.09.003.

https://en.wikipedia.org/wiki/Deep_learning

Es wurde gesagt, dass

Es gibt keine allgemein anerkannte Schwelle, bei der das flache Lernen vom tiefen Lernen getrennt wird. Die meisten Forscher auf diesem Gebiet sind sich jedoch einig, dass das tiefe Lernen mehrere nichtlineare Schichten aufweist (CAP> 2), und Schmidhuber betrachtet CAP> 10 als sehr tiefes Lernen

Eine Kette von Transformationen von Eingabe zu Ausgabe ist ein Credit Assignment Path oder CAP. Für ein vorwärts gerichtetes neuronales Netzwerk ist die Tiefe der CAPs und damit die Tiefe des Netzwerks die Anzahl der verborgenen Schichten plus eins.