Mathematischer Hintergrund für neuronale Netze

11

Ich bin mir nicht sicher, ob dies für diese Site geeignet ist, aber ich beginne mein MSE in Informatik (BS in angewandter Mathematik) und möchte einen starken Hintergrund im maschinellen Lernen haben (ich werde höchstwahrscheinlich promovieren). Eines meiner Unterinteressen sind neuronale Netze.

Was ist ein guter mathematischer Hintergrund für ANNs? Wie in anderen Bereichen des maschinellen Lernens gehe ich davon aus, dass lineare Algebra wichtig ist, aber welche anderen Bereiche der Mathematik sind wichtig?

Ich habe vor, Neuronale Netze zu lesen : Eine systematische Einführung oder Neuronale Netze zur Mustererkennung . Hat jemand irgendwelche Inputs oder alternative Empfehlungen?

machine-learning neural-networks mathematical-statistics references Steve P.
quelle

Antworten:

10

Die zweite Referenz, die Sie geben, ist meiner Meinung nach immer noch das beste Buch über NN, auch wenn es etwas veraltet ist und sich nicht mit neueren Entwicklungen wie tiefen Architekturen befasst. Sie werden die Grundlagen richtig verstehen und sich mit allen grundlegenden Konzepten rund um maschinelles Lernen vertraut machen.

Wenn Sie das Buch durchgehen, benötigen Sie lineare Algebra, multivariate Berechnungen und Grundbegriffe der Statistik (bedingte Wahrscheinlichkeiten, Bayes-Theorem und Kenntnisse über Binomialverteilungen). An einigen Stellen geht es um Variationsrechnung. Der Anhang zur Variationsrechnung sollte jedoch ausreichen.

jpmuc
quelle
Das war es, was ich nach einer Reihe von Empfehlungen gemacht habe. Ich war nur sehr zögerlich, weil Bishops Buch über maschinelles Lernen, obwohl es von einigen angekündigt wird, ein sehr schwieriges Buch sein soll, aus dem man lernen kann, wenn man es noch nicht weiß .
Steve P.
5

Die mathematische Komponente würde wahrscheinlich mindestens fortgeschrittene Algebra, Trigger, lineare Algebra und Kalkül umfassen.

Denken Sie aber auch über den Tellerrand hinaus. Gute Programmierkenntnisse sind ebenfalls erforderlich, einschließlich solider Grundlagen in Algorithmen (Coursera bietet zwei Kurse zu Algorithmen an) und Kenntnisse in MatLab, Octave oder R (und mit einer flexiblen Programmiersprache wie Java, C / C ++ oder Python). Ich erwähne diese als Antwort auf Ihre Frage, weil sie meiner Meinung nach eher "angewandte Mathematik" sind - und für die Übersetzung zwischen Theorie und angewandten Implementierungen von grundlegender Bedeutung sind.

Ich habe eine Reihe von Coursera-Kursen zum Thema maschinelles Lernen besucht (und stimme einem anderen Poster zu, dass das maschinelle Lernen von Prof. Ng fantastisch ist) und NN. Vor einigen Monaten veranstaltete Coursera einen Kurs über neuronale Netze (nicht sicher, ob dieser noch verfügbar ist) über die University of Toronto und Geoffrey Hinton. Ein großartiger Kurs und gefragt: Kenntnisse in Analysis, Kenntnisse in Octave (einem Open Source MatLab-ähnlichen Klon), gutes algorithmisches Design (für Skalierbarkeit) und lineare Algebra.

Sie können auch (obwohl nicht per se Mathematik) über Themen wie die Verarbeitung natürlicher Sprache (zur Merkmalsextraktion usw.), das Abrufen von Informationen, die Statistik / Wahrscheinlichkeitstheorie sowie andere Bereiche des maschinellen Lernens nachdenken (um mehr Theorie zu erhalten). Aktuelle Texte wie Grundlagen des maschinellen Lernens (Mohri) oder Einführung in das maschinelle Lernen (Alpaydin) könnten Ihnen bei der Überbrückung der Komplexität von Theorie und Implementierung hilfreich sein (meiner Meinung nach kann dies ein harter Sprung sein) - und beides Texte sind sehr mathematisch schwer, besonders Grundlagen.

Auch hier denke ich, dass sich alle auf Mathematik und NN beziehen, aber im weiteren Sinne.

SaB
quelle
Vielen Dank. Ich habe als Student Angewandte Mathematik studiert (und habe umfangreiche Programmiererfahrung), also habe ich all das, bis auf einen strengen Kurs in abstrakter Algebra, den ich selbst unterrichte ... Am Ende habe ich mich für Neural Networks for Pattern entschieden Anerkennung durch den Bischof. Für alle anderen, die interessiert sind, kann ich es nur empfehlen ...
Steve P.
2

Ein sehr gutes Buch (nicht wirklich einführend, aber keine Vorkenntnisse in neuronalen Netzen vorausgesetzt) ​​ist Brian Ripley: "Mustererkennung und neuronale Netze", von dem ich sagen würde, dass es viele seiner Vorkenntnisse enthält. Mit einem BS in angewandter Mathematik sollten Sie vorbereitet sein.

kjetil b halvorsen
quelle
2

Hauptthema ist Statistik

Multivariable Infinitesimalrechnung

numerische lineare Algebra (spärliche Matrizen usw.) numerische Optimierung (Gradientenabstieg usw., quadratische Programmierung)

Vielleicht möchten Sie sich über Gauß-Prozesse und die dort erforderliche Mathematik informieren und versuchen, einige Bildverarbeitungs- / Sprachverarbeitungskurse durchzuführen

seanv507
quelle
Ich nehme im Herbst an einem NLP-Kurs teil.
Steve P.