Deep Learning-Grundlagen

Ich suche nach einem Artikel, der die Grundlagen des tiefen Lernens beschreibt. Idealerweise wie der Andrew Ng Kurs für tiefes Lernen. Weißt du, wo ich das finden kann?

Dieser Link enthält eine erstaunliche Menge an Deep-Learning-Literatur. Hier zusammengefasst (in der Reihenfolge, in der Anfänger am besten vorgehen sollten) - HINWEIS: Alle diese Ressourcen verwenden hauptsächlich Python.

1) Zunächst sind Grundkenntnisse des maschinellen Lernens erforderlich. Ich fand, dass das Lernen von Caltech aus Daten ideal für alle im Internet verfügbaren Kurse zum maschinellen Lernen ist.

Andrew Ngs Coursera-Kurs ist auch ziemlich gut.

2) Für neuronale Netze erklärt es niemand besser als Dr.Patrick Winston . Die Aufgaben sollten zum besseren Verständnis ausprobiert werden. Sie sind in Python.

3) Für ein besseres Verständnis der neuronalen Netze sollte der Kurs von Michael Nielsen durchgeführt werden (wie von Alexey vorgeschlagen). Es ist ziemlich einfach, aber es funktioniert.

4) Für tiefe neuronale Netze und deren schnellere Implementierung auf GPUs stehen mehrere Frameworks zur Verfügung, z. B. Theano , Caffe , Pybrain , Torch usw. Von diesen bietet Theano eine bessere Funktionalität auf niedriger Ebene, mit der der Benutzer benutzerdefinierte NNs erstellen kann. Da es sich um eine Python-Bibliothek handelt, ist es ein großes Plus, Numpy, Scikit-Learn, Matplotlib und Scipy verwenden zu können. Das Deep-Learning-Tutorial von Lisa Lab sollte zum besseren Verständnis von theano ausprobiert werden.

5) Befolgen Sie für Faltungsneurale Netze das Tutorial von andrej karpathy .

6) Für unbeaufsichtigtes Lernen folgen Sie hier und hier .

7) Für eine Schnittmenge von Deep Learning und NLP folgen Sie der Klasse von Richard Socher .

8) Für LSTMs lesen Sie Hochreiter, S., & Schmidhuber, J. (1997). Langes Kurzzeitgedächtnis. Neuronale Berechnung, 9 (8), 1735-1780 und Graves, Alex. Überwachte Sequenzmarkierung mit wiederkehrenden neuronalen Netzen. Vol. 385. Springer, 2012 .

Hier ist der Theano-Code von LSTM .

Das Thema ist neu, so dass der größte Teil der Weisheit in Zeitungen verstreut ist, aber hier sind zwei neuere Bücher:

• Tiefes Lernen , Yoshua Bengio, Ian J. Goodfellow, Aaron Courville.
• Deep Learning: Methoden und Anwendungen , Li Deng und Dong Yu.

Und praktisches Material: http://deeplearning.net/tutorial/

• ACL 2012 + NAACL 2013 Tutorial: Deep Learning für NLP (ohne Magie)

Neuronale Netze und Deep Learning von Michael Nielsen. Das Buch ist noch in Arbeit, sieht aber recht interessant und vielversprechend aus. Und es ist kostenlos! Hier ist der Link: http://neuralnetworksanddeeplearning.com/

Bisher gibt es nur 5 Kapitel, von denen die meisten über normale neuronale Netze sprechen, aber es lohnt sich trotzdem, einen Blick darauf zu werfen.

Update: Das Buch ist fertig!

Hauptreferenzen:

Kurse zum Tiefenlernen:

• Andrew Ngs Kurs über maschinelles Lernen enthält eine Einführung in neuronale Netze.
• Geoffrey Hintons Kurs: Coursera Neuronale Netze für maschinelles Lernen (Herbst 2012)
• Michael Nielsens kostenloses Buch Neural Networks and Deep Learning
• Yoshua Bengio, Ian Goodfellow und Aaron Courville haben ein Buch über tiefes Lernen geschrieben
• Hugo Larochelles Kurs (Videos + Folien) an der Université de Sherbrooke
• Stanfords Tutorial (Andrew Ng et al.) Über unbeaufsichtigtes Feature-Learning und Deep Learning
• Oxford ML 2014-2015 Kurs
• NVIDIA Deep Learning Kurs (Sommer 2015)
• Googles Deep Learning-Kurs zu Udacity (Januar 2016)

NLP-orientiert:

• Stanford CS224d: Deep Learning für die Verarbeitung natürlicher Sprachen (Frühjahr 2015) von Richard Socher
• Tutorial beim NAACL HLT 2013: Deep Learning für die Verarbeitung natürlicher Sprachen (ohne Magie) (Videos + Folien)

Vision-orientiert:

• CS231n Convolutional Neural Networks für die visuelle Erkennung von Andrej Karpathy (eine frühere Version, kürzer und weniger ausgefeilt: Hackers Leitfaden für neuronale Netze ).

Toolkit-spezifische Tutorials:

• DL4J (Java): http://deeplearning4j.org/documentation.html
• Theano (Python, Y. Bengio): http://deeplearning.net/
• Maschinelles Lernen mit Torch7 (Lua, LeCun): http://code.madbits.com/wiki/doku.php
• H2O Deep Learning (Java): http://0xdata.com/product/deep-learning/
• Caffee (C ++, UCB): http://caffe.berkeleyvision.org/
• Nervanas Deep Learning-Kurs

Es gibt auch Richard Sochers Doktorarbeit über den Schnittpunkt von NLP und Deep Learning: Rekursives Deep Learning für die Verarbeitung natürlicher Sprachen und Computer Vision

Um die Herleitung des Back-Propagation-Algorithmus zu verstehen, empfehle ich Ryan Harris YouTube-Video, das weniger einschüchternd ist. Möglicherweise finden Sie auch ein zweites Video.