Einführung in das maschinelle Lernen für Mathematiker

23

In gewissem Sinne ist dies ein Crosspost von mir von math.stackexchange , und ich habe das Gefühl, dass diese Site ein breites Publikum ansprechen könnte.

Ich suche eine mathematische Einführung in das maschinelle Lernen. Insbesondere ist viel Literatur, die gefunden werden kann, relativ ungenau und viele Seiten werden ohne Inhalt ausgegeben.

Ausgehend von dieser Literatur entdeckte ich jedoch die Coursera- Kurse von Andrew Ng, dem Buch des Bischofs zur Mustererkennung und schließlich ein Buch von Smola. Leider befindet sich das Buch von Smola nur im Entwurfszustand. In Smolas Buch finden sich sogar Beweise, die mich ansprechen. Das Buch von Bischof ist bereits ziemlich gut, aber es fehlt ein gewisses Maß an Genauigkeit.

Kurz gesagt: Ich suche ein Buch wie das von Smola, das so präzise und streng wie möglich ist und mathematischen Hintergrund verwendet (obwohl kurze Einführungen natürlich in Ordnung sind).

Irgendwelche Empfehlungen?

Quickbeam2k1
quelle
1
In Zukunft bitte nicht mehr kreuzen.
Momo
Es sieht so aus, als wäre die Frage noch nicht erledigt - sie bricht nach "und" ab.
JW
sorry, irgendwie ist mein edit verschwunden.
Quickbeam2k1
1
Vielleicht möchten Sie erklären, warum ein Mathematiker etwas über maschinelles Lernen lernen möchte (um einen Job als Datenwissenschaftler zu finden / um zu forschen / usw.), damit die Leute Sie in die richtige Richtung
lenken können
1
Für die Datenwissenschaft würde ich argumentieren, Sie benötigen grundlegende statistische Kenntnisse (z. B. lineare / logistische Regression), experimentelles Design, z. B. Ab-Tests usw., und zusätzlich ein Verständnis für die Techniken von Empfehlungssystemen
seanv507

Antworten:

9

Für das, was Sie beschreiben, empfehle ich "Foundations of Machine Learning" von Mohri et al. Es ist ein Text für Studenten, aber für wirklich gute Studenten. Es ist lesbar und es ist der einzige Ort, an dem ich eine mathematische Definition des maschinellen Lernens gefunden habe (Pac und schwacher Pac). Schon deshalb lohnt es sich zu lesen. Ich habe auch einen Doktor in Mathematik. Ich kenne und mag viele der oben genannten Bücher. Ich mag ESL besonders für ein breites Spektrum an Techniken und Ideen, aber es ist ein Statistikbuch mit viel Mathematik.

aginensky
quelle
1
Übrigens wurde mir gesagt, dass Schapire in seiner These bewiesen hat, dass eine schwache PAC eine PAC impliziert. Sein Beweis läuft auf die Boosting-Technik hinaus und ist ein schönes Beispiel dafür, wie eine theoretische Frage zu einem sehr praktischen Ergebnis geführt hat.
Aginensky
Vielen Dank für Ihre Bemerkungen. Ich denke, ich werde später mit ESL arbeiten, nachdem ich mit Mohris und Shalev-
Shwartzs
12

Ich würde Elements of Statistical Learning (kostenlose PDF-Datei) empfehlen . Es bietet ausreichend Mathematik und eine gute Einführung in alle relevanten Techniken - zusammen mit einigen Einblicken, warum die Techniken funktionieren (und wann nicht).

Auch Einführung in das statistische Lernen (was praktischer ist - wie es in R gemacht wird ). Es gibt einen Kurs zum statistischen Lernen . Sie finden die Vorträge möglicherweise auf YouTube (und erneut im PDF-Format).

seanv507
quelle
3
Das ist eine sehr schöne Empfehlung. Darüber hinaus empfehle ich "Learning from Data" von Yaser S. Abu-Mostafa. Es ist stark theoretisch, erklärt jedoch sehr klar Themen wie Machbarkeit des Lernens und VC-Dimension. Das sind Videos und Folien, die online verfügbar sind .
Tiagotvv
Ich unterstütze den Vorschlag "Learning from Data" von Yaser S. Abu-Mostafa. Das Buch ist sehr kurz, aber voller wertvoller Informationen. In der Tat wird viel Wert auf Lernfähigkeit und Komplexität gelegt.
Vladislavs Dovgalecs
7

Sie werden wahrscheinlich gerne lernen mit Kernen von Schölkopf und Smola. Die meisten Arbeiten von Schölkopf sind mathematisch streng.

Das heißt, Sie sind wahrscheinlich besser dran, Forschungsarbeiten zu lesen als Lehrbücher. Forschungsarbeiten enthalten vollständige Ableitungen und Konvergenznachweise, Leistungsgrenzen usw., die in Lehrbüchern häufig nicht enthalten sind. Ein guter Anfang ist das Journal of Machine Learning , das hoch angesehen und vollständig offen zugänglich ist. Ich empfehle auch die Durchführung von Konferenzen wie ICML , NIPS , COLT und IJCNN .

Peter Mortensen
quelle
danke für die hinweise mit dem journal. Ich befürchte jedoch, dass die Zeitschriften für mich zu weit fortgeschritten sind. Trotzdem ist diese Quelle eine wertvolle Quelle für die Zukunft.
Quickbeam2k1
4

Ich würde vorschlagen, maschinelles Lernen zu verstehen: Von der Theorie zu Algorithmen von Shai Shalev-Shwartz. Ich gebe zu, dass ich nur kleine Teile davon gelesen habe, aber ich habe sofort die Strenge bemerkt, mit der der Autor auf jedes Problem und jede Diskussion zugegangen ist.

Vladislavs Dovgalecs
quelle