Warum werden Deep-Believe-Netzwerke (DBN) selten verwendet?

Ich habe dieses Buch über tiefes Lernen von Ian und Aron gelesen. In der Beschreibung von DBN heißt es, DBN sei in Ungnade gefallen und werde selten verwendet.

Deep-Believe-Netzwerke haben gezeigt, dass Deep-Architekturen erfolgreich sein können, indem sie kernelisierte Support-Vektor-Maschinen im MNIST-Datensatz übertreffen (Hinton et al., 2006). Heutzutage sind Deep-Believe-Netzwerke größtenteils in Ungnade gefallen und werden selbst im Vergleich zu anderen unbeaufsichtigten oder generativen Lernalgorithmen selten verwendet, aber sie werden zu Recht für ihre wichtige Rolle in der Deep-Learning-Geschichte anerkannt.

Ich verstehe nicht warum.

machine-learning deep-learning deep-belief-networks asdfkjasdfjk
quelle

Dies scheint eine sehr subjektive Frage zu sein. Meine erste (völlig informelle) Antwort wäre, dass die Autoren diese Passage vor einigen Jahren geschrieben und vergessen haben, sie zu aktualisieren ... Die Google Trends- Grafik zeigt einen deutlichen Höhepunkt zwischen 2004 und 2005, aber sie scheint in den letzten Jahren offensichtlich etwas an Bedeutung zu gewinnen einige Jahre (ab 2014). Deep Learning, eine Obermenge von DBN ist momentan "der letzte Schrei", würde ich sagen. (Sogar unser Server-Infrastrukturingenieur bei der Arbeit fragte mich

neulich,

Antworten:

Denken Sie daran, dass die Backpropagation früher mit einem großen Problem verbunden war. das verschwindende Gefälle; Ich denke, der Hauptgrund dafür, dass Netzwerke mit tiefem Glauben selten verwendet werden, ist, dass die mit RELU (Rectified Linear Unit) verwendete Backpropagation das Problem des verschwindenden Gradienten löst und es kein Problem mehr ist und Sie kein DBN implementieren müssen.

Der zweite Grund ist, dass große Deep-Network-Architekturen, obwohl Sie das gleiche Problem mit ähnlichen Ansätzen lösen könnten, viel komplexer werden, um mit Deep-Believe-Netzwerken zu trainieren. Mit Backpropagation mit RELU können Sie in einem Schuss trainieren.

mavi
quelle