Als «deep-learning» getaggte Fragen

7
Kann das Problem des verschwindenden Gradienten gelöst werden, indem die Eingabe von tanh mit einem Koeffizienten multipliziert wird?

Nach meinem Verständnis tritt das Problem des verschwindenden Gradienten beim Training neuronaler Netze auf, wenn der Gradient jeder Aktivierungsfunktion kleiner als 1 ist, so dass das Produkt dieser Gradienten sehr klein wird, wenn Korrekturen durch viele Schichten zurückpropagiert werden. Ich...