Unterschied zwischen neuronalen Netzen und tiefem Lernen

10

In Bezug auf den Unterschied zwischen neuronalen Netzen und Deep Learning können wir verschiedene Elemente auflisten, z. B. mehr Ebenen, umfangreiche Datenmengen und leistungsstarke Computerhardware, um das Training komplizierter Modelle zu ermöglichen.

Gibt es außerdem eine detailliertere Erklärung zum Unterschied zwischen NN und DL?

user3269
quelle
3
Soweit ich weiß, reicht es aus, nur mehrere versteckte Schichten zu haben, um ein Netzwerk "tief" zu machen. Mehr Daten und größere Computer sind eher ein Symptom für die zunehmende Verfügbarkeit von beidem für maschinelle Lernaufgaben.
Sycorax sagt Reinstate Monica
Vielleicht sollte diese Frage auf den neuen Austausch künstlicher Intelligenzstapel migriert werden ?
WilliamKF
2
@WilliamKF Dies ist hier genau das richtige Thema.
Sycorax sagt Reinstate Monica

Antworten:

3

Frank Dernoncourt hat eine bessere allgemeine Antwort, aber ich denke, es ist erwähnenswert, dass Menschen, die den allgemeinen Begriff "Deep Learning" verwenden, häufig die Verwendung neuerer Techniken wie Faltung implizieren, die Sie in älteren / traditionellen nicht finden würden (vollständig verbundene) neuronale Netze. Bei Bilderkennungsproblemen kann die Faltung tiefere neuronale Netze ermöglichen, da gewundene Neuronen / Filter das Risiko einer Überanpassung durch gemeinsame Nutzung von Gewichten etwas verringern.

Ryan Zotti
quelle
1

Neuronale Netze mit vielen Schichten sind tiefe Architekturen.

Der in neuronalen Netzen verwendete Backpropagation-Lernalgorithmus funktioniert jedoch nicht gut, wenn das Netzwerk sehr tief ist. Lernarchitekturen in tiefen Architekturen ("tiefes Lernen") müssen dies berücksichtigen. Beispielsweise verwenden Boltzmann-Maschinen stattdessen einen kontrastiven Lernalgorithmus.

Es ist einfach, eine tiefe Architektur zu entwickeln. Es hat sich als schwierig erwiesen, einen Lernalgorithmus zu entwickeln, der für eine tiefe Architektur gut geeignet ist.

Neil G.
quelle
Es scheint jedoch, dass der Backpropagation-Algorithmus immer noch zum Trainieren von Conv Net und Recurrent Net verwendet wird, obwohl sie einige neu entwickelte numerische Optimierungstechniken wie die Batch-Normalisierung nutzen.
user3269
@ user3269 Batch-Normalisierung und Dropout sind Beispiele für Änderungen am Lernalgorithmus, damit sie in tiefen Architekturen gut funktionieren.
Neil G
0

Deep Learning erfordert ein neuronales Netzwerk mit mehreren Schichten - jede Schicht führt mathematische Transformationen durch und speist in die nächste Schicht ein. Die Ausgabe der letzten Schicht ist die Entscheidung des Netzwerks für eine bestimmte Eingabe. Die Ebenen zwischen der Eingabe- und Ausgabeebene werden als versteckte Ebenen bezeichnet.

Ein tief lernendes neuronales Netzwerk ist eine massive Sammlung von Perzeptronen, die in Schichten miteinander verbunden sind. Die Gewichte und die Vorspannung jedes Perzeptrons im Netzwerk beeinflussen die Art der Ausgabeentscheidung des gesamten Netzwerks. In einem perfekt abgestimmten neuronalen Netzwerk sind alle Werte für Gewicht und Vorspannung des gesamten Perzeptrons so, dass die Ausgabeentscheidung für alle möglichen Eingaben immer korrekt ist (wie erwartet). Wie sind die Gewichte und die Vorspannung konfiguriert? Dies geschieht iterativ während des Trainings des Netzwerks - Deep Learning genannt. (Sharad Gandhi)

Muhammed Shakir Misarwala
quelle