Wie wahr ist diese Folie über tiefes Lernen, in der behauptet wird, dass alle Verbesserungen aus den 1980er Jahren nur auf viel mehr Daten und viel schnelleren Computern beruhen?

22

Ich habe einem Vortrag zugehört und diese Folie gesehen:

Bildbeschreibung hier eingeben

Wie wahr ist das?

Franck Dernoncourt
quelle
6
Ich brauche mehr Kontext.
Kardinal
2
Es wäre hilfreich, wenn Sie den Forscher zitieren würden. Für mich beinhaltet Deep Learning im Kern viel größere Netzwerke in der Anzahl der Neuronen und mehr Schichten. Zugegeben, dies wird in gewisser Weise durch die obigen Punkte impliziert, die in etwa zutreffend erscheinen. Die obigen Punkte erleichtern größere Netzwerke.
vzn
Was ist die Quelle dafür?
MachineEpsilon

Antworten:

11

Ich habe den AI StackExchange durchsucht und bin auf eine sehr ähnliche Frage gestoßen : Was unterscheidet Deep Learning von anderen neuronalen Netzwerken?

Da AI StackExchange morgen (wieder) geschlossen wird, kopiere ich die beiden wichtigsten Antworten hier (Benutzerbeiträge unter Lizenz von cc by-sa 3.0 mit Namensnennung erforderlich):


Urheber: mommi84less

Zwei gut zitierte Veröffentlichungen aus dem Jahr 2006 brachten das Forschungsinteresse zurück in die Tiefe des Lernens. In "Ein schneller Lernalgorithmus für Deep-Believe-Netze" definieren die Autoren ein Deep-Believe-Netz als:

[...] dicht verbundene Glaubensnetze, die viele versteckte Schichten haben.

Wir finden fast die gleiche Beschreibung für tiefe Netzwerke in " Gieriges schichtweises Training tiefer Netzwerke" :

Tiefe mehrschichtige neuronale Netze weisen viele Ebenen von Nichtlinearitäten auf [...]

Dann wird in dem Umfragepapier "Repräsentationslernen: Ein Rückblick und neue Perspektiven" Tiefenlernen verwendet, um alle Techniken zu umfassen (siehe auch diesen Vortrag ) und ist definiert als:

[...] Erstellen mehrerer Darstellungsebenen oder Lernen einer Hierarchie von Merkmalen.

Das Adjektiv "tief" wurde daher von den Autoren oben verwendet, um die Verwendung mehrerer nichtlinearer versteckter Schichten hervorzuheben .


Urheber: lejlot

Nur um @ mommi84 Antwort hinzuzufügen.

Deep Learning ist nicht auf neuronale Netze beschränkt. Dies ist ein umfassenderes Konzept als nur die DBNs von Hinton

Erstellen mehrerer Darstellungsebenen oder Lernen einer Hierarchie von Merkmalen.

Es ist also ein Name für Lernalgorithmen für hierarchische Darstellungen . Es gibt tiefe Modelle, die auf Hidden-Markov-Modellen, bedingten Zufallsfeldern, Support-Vektor-Maschinen usw. basieren. Das Einzige, was häufig vorkommt, ist, dass die Forscher statt des (in den 90er Jahren beliebten) Feature-Engineerings versuchten, eine Reihe von Features zu erstellen, nämlich das am besten zur Lösung eines Klassifizierungsproblems - diese Maschinen können ihre eigene Darstellung aus den Rohdaten erarbeiten. Insbesondere - angewendet auf die Bilderkennung (Rohbilder) - erzeugen sie eine mehrstufige Darstellung, die aus Pixeln, dann Linien, dann Gesichtsmerkmalen (wenn wir mit Gesichtern arbeiten) wie Nasen, Augen und schließlich - verallgemeinerten Gesichtern besteht. Wenn sie auf die Verarbeitung natürlicher Sprachen angewendet werden, konstruieren sie ein Sprachmodell, das Wörter zu Brocken, Brocken zu Sätzen usw. verbindet.


Eine weitere interessante Folie:

Bildbeschreibung hier eingeben

Quelle

Franck Dernoncourt
quelle
7

Der Schulabbrecher von Hinton im Jahr 2006 gilt als die größte Verbesserung im Bereich des Tiefenlernens in den letzten 10 Jahren, da er viel Überanpassung reduziert.

oao
quelle
2
2006? Soweit ich weiß, wurde es 2014 in jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf eingeführt .
Amöbe sagt Reinstate Monica
6

Dies ist sicherlich eine Frage, die Kontroversen hervorrufen wird.

Wenn neuronale Netze beim Tiefenlernen verwendet werden, werden sie in der Regel auf eine Weise trainiert, die in den 1980er Jahren nicht verwendet wurde. Insbesondere Strategien, die einzelne Schichten des neuronalen Netzwerks vortrainieren, um Merkmale auf verschiedenen Ebenen zu erkennen, sollen das Trainieren von Netzwerken mit mehreren Schichten erleichtern. Das ist sicherlich eine Neuentwicklung seit den 1980er Jahren.

Brian Borchers
quelle
5

Der Schlüssel ist das Wort "tief" im tiefen Lernen. Jemand (vergessen ref) in den 80er Jahren bewiesen , dass alle nicht-linearen Funktionen durch eine angenähert werden könnten einzelne Schicht neuronales Netz mit, natürlich, eine ausreichend große Anzahl von versteckten Einheiten. Ich denke, dieses Ergebnis hat wahrscheinlich die Menschen davon abgehalten, in früheren Zeiten ein tieferes Netzwerk zu suchen.

Die Tiefe des Netzwerks hat sich jedoch als das entscheidende Element in der hierarchischen Darstellung erwiesen, das den Erfolg vieler heutiger Anwendungen bestimmt.

HoraceT
quelle
0

Nicht genau, der ANN startet in den 50er Jahren. Schauen Sie sich eine der Präsentationen von Yann LeCun an, um ein authentisches und umfassendes Intro zu erhalten. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf

Lanze
quelle
Dies ist zu kurz für eine Antwort nach unseren Maßstäben, eher ein Kommentar. Sie sollten es wirklich zu einer vollständigen Antwort ausbauen, indem Sie einige der wichtigen Punkte dieser Folie angeben!
kjetil b halvorsen