Lernfunktionsanalyse zum Studieren von Kerneln

7

Ich versuche mehr über die Kernel-Maschinentheorie zu lernen und habe festgestellt, dass ich viel Hintergrundmathematik lernen muss. Deshalb suche ich nach guten Ressourcen dafür. Insbesondere: Ich habe das Buch Learning with Kernels von Schölkopf und Smola und sie beginnen, Fourier-Transformationen, Green-Funktionen, Operatoren (z. B. habe ich noch nie von einem Pseudo-Differential-Operator gehört) und andere solche Dinge zu diskutieren. Ich habe keine Erfahrung damit, aber ich möchte es wirklich verstehen. Obwohl ich sicherlich einzelne Beispiele googeln kann, würde ich eine umfassendere Behandlung wirklich vorziehen.

Es tut mir leid, wenn dies zu vage oder spezifisch ist, aber ich habe wirklich Schwierigkeiten herauszufinden, wie ich systematisch mit dem Erlernen der Hintergrundmathematik beginnen kann, damit ich bequem mit Kerneln und der RKHS-Theorie arbeiten kann. Vielen Dank.

Update: Ich habe meinen Hintergrund herausgehalten, weil ich befürchtet hatte, dass dies zu spezifisch für mich werden könnte, aber weil gefragt wurde: Ich habe einen Kurs in realer Analyse und einen Kurs in moderner Algebra sowie eine Standard-Linearalgebra belegt und multivariater Kalkülkurs. Ich habe keine Differentialgleichungen studiert. Ich habe auch eine Reihe von Kursen in mathematischer Statistik belegt (einschließlich einiger messungstheoretischer Kurse, obwohl ich nie offiziell Maßtheorie studiert habe). Ich bin mit dem engen Bereich der Statistiken, die ich studiert habe, zufrieden (z. B. LLN, CLT, Exponentialfamilien, GLMs, gemischte Modelle, vollständige und ausreichende Statistiken, ...), aber ich habe nicht viel reine Mathematik Hintergrund, den ich fühle, fängt an, mich zu verletzen.

machine-learning self-study references kernel-trick Alfalfa
quelle
2
Die Begriffe, die Sie erwähnt haben, beziehen sich alle auf Differentialgleichungen. Das Durcharbeiten eines relativ zugänglichen Textes wie der elementaren Differentialgleichungen und Randwertprobleme von Boyce / DiPrima kann daher einen großen Beitrag zur Erstellung der Hintergrundmathematik leisten (Fourier-Transformationen, Greensche Funktion und lineare Operatoren erhalten in diesem Text alle Aufmerksamkeit).
Robert de Graaf
@ RobertdeGraaf Vielen Dank für den Kommentar. Das ist ein sehr interessanter Punkt - ich habe noch nie Differentialgleichungen studiert, vielleicht ist das ein großes fehlendes Stück. Ich werde auf jeden Fall in dieses Buch schauen.
Luzerne

Antworten:

2

Sie haben uns nicht viele Informationen über Ihren aktuellen mathematischen Hintergrund gegeben. Haben Sie den Hintergrund eines typischen Studenten der Naturwissenschaften oder Ingenieurwissenschaften (Einzel- und Multivariablenrechnung, gewöhnliche Differentialgleichungen und möglicherweise eine Exposition gegenüber Fourier-Reihen)? Haben Sie Einführungskurse in die Analyse belegt?

Ein klassisches Lehrbuch, das Studenten mit typischen technischen mathematischen Hintergründen und einigen Analysen die angewandte Funktionsanalyse vorstellt, ist die Optimierung durch Vektorraummethoden von David G. Luenberger.

Brian Borchers
quelle
Vielen Dank für Ihre Antwort. Ich habe weitere Details zu meinem speziellen Hintergrund hinzugefügt. Grundsätzlich habe ich einen Abschluss in angewandter Statistik.
Luzerne
Luenbergers Buch ist wahrscheinlich eine gute Wahl für jemanden mit Ihrem Hintergrund. Was hier wirklich wichtig ist, ist weniger das Konzept des RKHS als vielmehr der Repräsentatorsatz, der Bedingungen angibt, unter denen Ihr Problem des maschinellen Lernens zu einem Problem der endlichen Dimensionsoptimierung wird.
Brian Borchers
Ich habe gerade das Inhaltsverzeichnis für dieses Buch überflogen und es scheint eine große Anzahl von Themen zu enthalten, die ich nicht kannte. Vielen Dank!
Luzerne