Was ist ein tiefes neuronales Netzwerk?

Was ist die Definition eines tiefen neuronalen Netzwerks? Warum sind sie so beliebt oder wichtig?

Ein tiefes neuronales Netzwerk (DNN) ist nichts anderes als ein neuronales Netzwerk mit mehreren Schichten, wobei mehrere subjektiv sein können.

IMHO wird jedes Netzwerk mit 6 oder 7 oder mehr Schichten als tief angesehen. Das Obige würde also eine sehr grundlegende Definition eines tiefen Netzwerks bilden.

Tiefe Netzwerke haben zwei Hauptunterschiede zu "normalen" Netzwerken.

Das erste ist, dass die Rechenleistung und die Trainingsdatensätze immens gewachsen sind, was bedeutet, dass es praktisch ist, größere Netzwerke zu betreiben und statistisch gültig zu sein (das heißt, wir haben genügend Trainingsbeispiele, damit wir nicht nur auf überanpassende Probleme mit größeren Netzwerken stoßen).

Das zweite ist, dass die Rückausbreitung begrenzt ist, je mehr Schichten Sie haben. Jede Schicht stellt einen Gradienten des Fehlers dar. Wenn also eine Schicht ungefähr sechs Schichten tief ist, bleibt nicht viel Fehler übrig, um die Neuronengewichte zu modifizieren. Man könnte jedoch vernünftigerweise erwarten, dass frühere Neuronen wichtiger sind als spätere Neuronen, da sie "Konzepte" darstellen, die näher an den Roheingaben liegen.

Neue Trainingstechniken umgehen dieses Problem, indem sie in der Regel unbeaufsichtigt an den Roheingaben lernen und übergeordnete „Konzepte“ erstellen, die dann als Eingaben für das überwachte Lernen nützlich sind.

(Betrachten Sie zum Beispiel das Problem, anhand der Pixel zu bestimmen, ob ein Bild eine Katze enthält oder nicht. Die frühen Schichten des Netzwerks sollten beispielsweise Kanten erkennen, von denen man erwarten kann, dass sie von allen Bildern gemeinsam genutzt werden und größtenteils unabhängig davon sind man versucht es mit den Ausgabeebenen zu tun, daher ist es auch schwierig, durch "Katze-nicht-Katze" -Signale viele Schichten nach oben zu trainieren.

Allgemeine Struktur eines künstlichen neuronalen Netzes

Eingabeebene + Versteckte Ebenen + Ausgabeebene

Wenn das künstliche neuronale Netzwerk mehr verborgene Schichten enthält, wird das neuronale Netzwerk als Deep Neural Network bezeichnet. Wie viele genau ein tiefes neuronales Netzwerk bilden, ist ein Diskussionspunkt, aber im Allgemeinen ist das neuronale Netzwerk umso tiefer, je mehr verborgene Schichten vorhanden sind.

Als sie herausfanden, warum sie so beliebt oder wichtig sind, wurden viele Probleme wie Objekterkennung, Klassifizierung, Gesichtserkennung und Spracherkennung mit dem Aufkommen tiefer neuronaler Netze gelöst. Es ist keine Übertreibung zu sagen, dass die Leistung tiefer neuronaler Netze bei vielen der oben genannten Aufgaben sogar die menschliche Leistung überschritt. Das bedeutet, dass ein Computer jetzt der beste ist, um die oben genannten Aufgaben zu erledigen, als Menschen. Alle oben genannten Probleme lagen seit fast fünf Jahrzehnten im Forschungsbereich. Alle von ihnen wurden erst in den letzten 4,5 Jahren aufgrund des Erfolgs tiefer neuronaler Netze perfekt gelöst. Deshalb sind sie sehr beliebt und wichtig. Ich erwähnte nur sehr wenige Probleme, an denen ich gearbeitet habe. Es gibt viele ähnliche Aufgaben, die tiefe neuronale Netze im letzten Jahrzehnt mühelos gelöst haben.

Und zu diesem Zeitpunkt arbeiten viele Menschen auf der ganzen Welt daran, unzählige Anwendungen mithilfe tiefer neuronaler Netze zu lösen.