Lehrbuch zur * Theorie * neuronaler Netze / ML-Algorithmen?

Jedes Lehrbuch, das ich bisher gesehen habe, beschreibt ML-Algorithmen und wie man sie implementiert.

Gibt es auch ein Lehrbuch, das Theoreme und Beweise für das Verhalten dieser Algorithmen erstellt? zB, dass unter den Bedingungen Gradientenabstieg immer zu A , B , C führt ?$x,y,z$$A,B,C$

Grundlagen des maschinellen Lernens , von Mehryar Mohri, Afshin Rostamizadeh und Ameet Talwalkar, ist ein 2012 erschienenes Buch zur Theorie des maschinellen Lernens.

Maschinelles Lernen verstehen: Von der Theorie zum Algorithmus , von Shai Shalev-Shwartz und Shai Ben-David, ist ein ähnliches Buch aus dem Jahr 2014, das ziemlich bekannt ist und sich ein wenig einführender richtet als Mohri / Rostamizadeh / Talwalkar, aber immer noch viele Theorien enthält es. Es ist online frei verfügbar.

Lernen in neuronalen Netzen : Theoretische Grundlagen von Martin Anthony und Peter Bartlett ist ein Buch aus dem Jahr 1999 über ML-Theorie, in dem es um neuronale Netze geht.

Diese drei Bücher vertreten meist den vorherrschenden Standpunkt der statistischen Lerntheorie. Es gibt auch eine interessante Sichtweise, die als rechnergestützte Lerntheorie bezeichnet wird und mehr von der Theorie der Informatik inspiriert ist. Ich denke, das Standard-Einführungsbuch in diesem Bereich ist Eine Einführung in die Theorie des computergestützten Lernens , ein 1994 erschienenes Buch von Michael Kearns und Umesh Vazirani.

Ein weiteres ausgezeichnetes und oft empfohlenes frei verfügbares Buch ist Trevor Hastie, Robert Tibshirani und Jerome Friedmans zweite Ausgabe von The Elements of Statistical Learning von 2009 . Es ist vielleicht ein bisschen weniger theoretisch als die anderen und aus Sicht des Statistikers mehr als das des Maschinenschülers, hat aber immer noch viel Interesse.

Wenn Sie sich besonders für die Gefälleabfahrt interessieren, ist die Standardreferenz die konvexe Optimierung von Stephen Boyd und Lieven Vandenberghe. Dieses Buch von 2004 ist online frei verfügbar.

Keines dieser Bücher enthält viel über die moderne Theorie der tiefen Netzwerke, wenn es Ihnen darum geht. (Zum Beispiel geht es in der Optimierungstheorie hauptsächlich um konvexe Fälle, die tiefe Netzwerke definitiv nicht sind.) Dies liegt daran, dass diese Theorie sehr neu ist. Die meisten Ergebnisse wurden erst in den letzten Jahren erzielt, und es wird noch viel herausgefunden. Aber als Überblick über das Grundverständnis des Fachgebiets werden Sie mit jedem von ihnen gut vorbereitet sein, um die Arbeiten zu verstehen, in denen diese Arbeit ausgeführt wird (außer vielleicht Kearns / Vazirani, das sich auf verschiedene Aspekte der Analyse konzentriert, die ich ' Ich bin mir nicht sicher, ob ich erfolgreich auf tiefe Netzwerke angewendet wurde.

Maschinelles Lernen: eine probabilistische Perspektive von Kevin P. Murphy erklärt viele Theorien aus Bayes-Sicht (ich habe es nur für logistische Regressionen verwendet, aber ich fand es ziemlich gut). Das gesamte Buch ist online als PDF verfügbar, wenn Sie in Google suchen.

• Deep Learning (Adaptives Rechnen und maschinelles Lernen) . Dies wird von Ian Goodfellow, Yoshua Bengio und Aaron Courville geschrieben . Gemäß der Vereinbarung des Autors mit MIT Press können Sie das rechtlich freie Exemplar lesen, das im Browser auf dieser Website verfügbar ist. www.deeplearningbook.org Dies ist gut für die reine Mathematik und Theorie des neuronalen Netzes und seiner verschiedenen Unterzweige.

Außerdem,

• Die Elemente des statistischen Lernens: Data Mining, Inferenz und Vorhersage sind auch ein gutes Buch, um theoretische und mathematische Grundlagen im traditionellen maschinellen Lernen zu schaffen. Dies wurde von Trevor Hastie, Robert Tibshirani und Jerome Friedman geschrieben und steht den Autoren unter https://web.stanford.edu/~hastie/ElemStatLearn/ kostenlos zur Verfügung.

Das Design neuronaler Netze (Martin T. Hagan, Howard B. Demuth, Mark Hudson Beale und Orlando De Jesús) hat einige interessante Diskussionen über die Optimierung im Zusammenhang mit neuronalen Netzen.