Beziehung zwischen Lernrate und Anzahl der versteckten Schichten?

10

Gibt es eine Faustregel zwischen der Tiefe eines neuronalen Netzwerks und der Lernrate? Mir ist aufgefallen, dass die Lernrate umso niedriger sein muss, je tiefer das Netzwerk ist.

Wenn das richtig ist, warum ist das so?

neural-networks deep-learning hyperparameter rule-of-thumb user_1177868
quelle
1
eine verwandte Diskussion für ein Boosting-Modell. stats.stackexchange.com/questions/168666/…
Haitao Du
Die Diskussion bietet nützliche Informationen, beantwortet aber meine Frage nicht. Könnten Sie es bitte kommentieren?
user_1177868
1
ye, deshalb habe ich es kommentiert, aber nicht beantwortet und deine Fragen positiv bewertet.
Haitao Du

Antworten:

4

Diese Frage wurde hier beantwortet:

Sollte die Lernrate bei neuronalen Netzen in irgendeiner Weise proportional zu den Größen der verborgenen Schichten sein? Sollten sie sich gegenseitig beeinflussen?

Kurze Antwort ist ja, es gibt eine Beziehung. Obwohl die Beziehung nicht so trivial ist, kann ich Ihnen nur sagen, dass Sie sehen, dass die Optimierungsoberfläche mit zunehmender Anzahl versteckter Ebenen komplexer wird und daher kleinere Lernraten im Allgemeinen besser sind. Während das Festhalten an lokalen Minima eine Möglichkeit mit niedriger Lernrate ist, ist es viel besser als komplexe Oberflächen und hohe Lernraten.

NULL
quelle