Inwieweit ist fortgeschrittene Mathematik in der KI-Forschung notwendig / nützlich?

Ich studiere zurzeit Mathematik. Ich glaube jedoch nicht, dass ich in Zukunft professioneller Mathematiker werden möchte. Ich denke darüber nach, meine mathematischen Kenntnisse in die Forschung mit künstlicher Intelligenz einzubringen. Ich bin mir jedoch nicht sicher, wie viele Mathematikkurse ich belegen soll. (Und welche Kurse zur CS-Theorie sollte ich besuchen?)

Von Quora habe ich erfahren, dass die Fächer Lineare Algebra, Statistik und Konvexe Optimierung für das maschinelle Lernen am relevantesten sind (siehe diese Frage). Jemand anderes erwähnte, dass das Erlernen von linearer Algebra, Wahrscheinlichkeit / Statistik, Kalkül, grundlegenden Algorithmen und Logik erforderlich ist, um künstliche Intelligenz zu untersuchen (siehe diese Frage).

All diese Fächer kann ich in den ersten 1,5 Jahren meines Mathematik-Bachelor an unserer Universität kennenlernen.

Ich habe mich allerdings gefragt, ob es einige Mathematikfächer für Hochschulabsolventen gibt, die für das Studium der künstlichen Intelligenz nützlich oder sogar notwendig sind. Was ist mit ODEs, PDEs, Topologie, Maßtheorie, linearer Analyse, Fourier-Analyse und Analyse von Mannigfaltigkeiten?

Ein Buch, das nahe legt, dass eine ziemlich fortgeschrittene Mathematik für das Studium der künstlichen Intelligenz nützlich ist, ist Pattern Theory: The Stochastic Analysis of Real-World-Signale von David Mumford und Agnes Desolneux (siehe diese Seite). Es enthält Kapitel zu Markov-Ketten, stückweisen Gauß-Modellen, Gibbs-Feldern, Mannigfaltigkeiten, Lügengruppen und Lügenalgebren sowie deren Anwendungen auf die Mustertheorie. Inwieweit ist dieses Buch für die KI-Forschung nützlich?

Ich möchte nicht herablassend klingen, aber die Mathematik, die Sie in den Kursen für Grundstudenten und sogar für Hochschulabsolventen studieren, ist nicht fortgeschritten. Es sind die Grundlagen . Der Titel Ihrer Frage sollte lauten: Ist "grundlegende" Mathematik in der KI-Forschung erforderlich / nützlich? Also, verschling so viel du kannst, ich habe noch nie einen Informatiker getroffen, der sich darüber beschwert hat, zu viel Mathe zu wissen, obwohl ich viele getroffen habe, die sich darüber beschwert haben, nicht genug davon zu wissen. Ich erinnere mich, wie ich einem Kommilitonen in der KI geholfen habe, einen Algorithmus im Page-Rank-Stil zu verstehen. Für mich war es nur eine ziemlich einfache lineare Algebra, aber er litt, weil er kein Gefühl dafür hatte, worum es bei Eigenwerten und Eigenvektoren ging. Stellen Sie sich die Dinge vor, die KI-Leute tun könnten, wenn sie tatsächlich viel Mathe wüssten!

Ich unterrichte an einer Mathematikabteilung und bekomme regelmäßig Anfragen von meinen CS-Kollegen, Mathe-Majors für CS-PhDs zu empfehlen, da sie Mathe-Studenten bevorzugen. Sie sehen, Mathe ist wirklich sehr, sehr schwer zu lernen, aber die meisten Aspekte der Informatik sind es nicht. Ich weiß, ich war ein Mathe-Major, der eine CS-Graduiertenschule besucht hat. Sicher, ich war in Bezug auf Betriebssystemkenntnisse "zurückgeblieben" (obwohl ich gute Kenntnisse in Unix und VMS hatte), aber in Bezug auf "Theorie" war ich weit voraus. Es ist keine symmetrische Situation.

Max, hier ist eine (unbedingt) unvollständige Liste:

Grundlegende lineare Algebra und Wahrscheinlichkeit werden überall benötigt. Ich nehme an, Sie brauchen dafür keine Referenzen.

Meines Wissens wurde die Fourier-Analyse in einigen lerntheoretischen Untersuchungen verwendet. Schauen Sie sich zum Beispiel dieses Papier an.

Das Konzept des vielfältigen Lernens wird immer beliebter, und Sie können sich die Werke von Michail Belkin und Partha Niyogi ansehen. Diese Arbeit erfordert das Verständnis verschiedener Konzepte im Zusammenhang mit Mannigfaltigkeiten und der Riemannschen Geometrie.

Es gibt einen weiteren Aspekt des maschinellen Lernens, der tiefere Wurzeln in der Statistik hat, nämlich die Informationsgeometrie. Dieser Bereich knüpft an verschiedene Konzepte der Riemannschen Geometrie, der Informationstheorie, der Fisher-Information usw. an. Ein Cousin dieser Art von Studie findet sich in der algebraischen Statistik - einem aufstrebenden Gebiet mit viel Potenzial.

Sumio Watanabe untersuchte eine andere Grenze, nämlich das Vorhandensein von Singularitäten in Lernmodellen und wie man tiefe Ergebnisse von Auflösungen aus der algebraischen Geometrie anwendet , um viele Fragen zu beantworten. Watanabes Ergebnisse stützen sich stark auf Heisuke Hironakas berühmte Arbeit, die ihm die Fields-Medaille einbrachte.

Ich vermute, ich lasse viele andere Bereiche aus, die relativ viel Mathematik erfordern. Aber wie Andrej betonte, liegen die meisten von ihnen wahrscheinlich nicht an den Grenzen der Mathematik, sondern sind relativ ältere und etablierte Gebiete.

In jedem Fall gehe ich jedoch davon aus, dass der derzeitige Stand der KI, der in das Mainstream-Computing eingegangen ist - wie in den Empfehlungssystemen von Amazon oder in den in Apache Mahout gefundenen Bibliotheken für maschinelles Lernen - keine fortgeschrittenen mathematischen Kenntnisse erfordert. Ich kann mich irren.

Hängt von Ihrer Definition von fortgeschritten ab und davon, welche Art von KI Sie studieren möchten.

Viele AI-Probleme lassen sich nachweislich nicht lösen - optimale Lösungen für POMDPs sind nachweislich NP-vollständig, optimale Lösungen für DEC-POMDPs sind nachweislich NEXP-vollständig usw. Ohne einen unerwarteten Durchbruch in der Komplexitätstheorie sind also umso mehr Näherungsalgorithmen bekannt und ihre theoretischen Grundlagen, desto besser. (Zusätzlich zur Maßtheorie usw. ist es erforderlich, die Bayes'sche Wahrscheinlichkeit, die dem POMDP-Modell zugrunde liegt, wirklich zu verstehen.)

Insbesondere die künstliche Intelligenz mit mehreren Agenten überschneidet sich mit der Spieltheorie. Daher ist es hilfreich, die Spieltheorie zu kennen, was wiederum von der Topologie, der Maßtheorie usw. abhängt. Ebenso sind viele Probleme in der Spieltheorie unlösbar. Einige sind sogar unter Näherung und sogar Verständnis schwer zu handhaben , wenn es möglich ist , eine sinnvolle Näherung durchzuführen, die einen erheblichen Teil der Mathematik in Anspruch nimmt.

(Ich stelle fest, dass die Spieltheoretiker in den letzten Jahren auf dem Gebiet der Nobel-Ökonomie eine ziemlich gute Leistung erbracht haben, und das ist stark mathematischer Natur. Ich gehe davon aus, dass die heutigen algorithmischen Spieltheoretiker in etwa der gleichen Zeit sein werden Position.)

Die Mathematik in der KI ist nicht fortgeschritten und wird im Grundstudium unterrichtet. KI-Trainings- und Inferenzalgorithmen fallen in den Bereich der fortgeschrittenen Informatik.

Es ist ein Wortspiel. Bei der Erforschung der KI sollte auch etwas Geschichte berücksichtigt werden.

In der aktuellen Nomenklatur scheint Deep Learning beispielsweise ein beliebtes Schlüsselwort in der KI zu sein.

Deep Learning war das, was früher als künstliche neuronale Netze (Artificial Neural Networks, ANNs) bezeichnet wurde, wie das Backpropagating Perceptron Network Model (BACKPROP) von Hinton und dergleichen.

Die Mathematik, die mit einer BACKPROP ANN (zum Beispiel) verbunden ist, ist im Wesentlichen eine Ableitungsrechnung für das Training und eine Matrixalgebra für die Inferenz.

Der neue Aspekt des Deep Learning ist die physikalische Trennung von Trainings- und Inferenzalgorithmen. CPUs werden immer noch zum Trainieren verwendet, aber jetzt werden GPUs zum Ableiten verwendet.

Zum Beispiel werden ANN-Matrizen trainiert (gewichtet), indem Fehler unter Verwendung einer Korrekturableitungsrechnung rückpropagiert werden. Dies ist am besten für CPUs geeignet und muss nur einmal pro ANN-Bereitstellung durchgeführt werden.

Der ANN wird dann in einer stark parallelisierten GPU-Architektur bereitgestellt. Die Vorwärtsableitungsmathematik beinhaltet eine intensive Matrixalgebra, für die GPUs entwickelt wurden.

Dies steigert die Leistung eines bereitgestellten ANN im Vergleich zu früheren CPU-basierten Bereitstellungen um mehrere Größenordnungen und kann effizienter auf eine beliebige Anzahl dedizierter GPUs skaliert werden.

Unternehmen wie Nvidia und AMD vermarkten jetzt sehr hochwertige GPU-Chipsätze als Deep Learning Machines. Der Begriff GPU war schon immer eine Fehlbezeichnung, da es sich um Allzweck-Parallelprozessoren handelt. Beispielsweise werden GPUs in Blockchain-Anwendungen manchmal auch als Bitminer bezeichnet.

Was alt war, ist jetzt neu. Die Mathematik hat sich nicht geändert, nur die Terminologie der Informatik (hauptsächlich aufgrund des Marketingdrucks).

Der Begriff KI galt schon immer als ein dunkles Pferd. Deep Learning ist heute der politisch korrekte, marktfreundliche Begriff.

AI ist ein erstaunlich breites Feld mit einer Vielzahl von möglichen Routen. Einige sind extrem mathematisch, andere berühren die Mathematik kaum. Andere haben bereits gute Antworten für die mathematischeren Ansätze gegeben. Von den Themen, auf die Sie hingewiesen haben,

"Lineare Algebra, Wahrscheinlichkeit / Statistik, Analysis, Grundlegende Algorithmen und Logik"

-Du brauchst oder wirst im Grunde von allen profitieren. Viele Ansätze basieren zumindest teilweise direkt auf Wahrscheinlichkeit und Statistik - Heuristik, neuronale Netze, genetische Algorithmen, Fuzzy-Logik. Kalkül ist ebenso nützlich - in der KI oder in der allgemeinen Informatik finden Sie es fast überall. Lineare Algebra ist etwas, das Sie definitiv auch brauchen.

Die beiden aus CS / AI-Sicht wichtigsten Themen sind Algorithmen und Logik, Algorithmen sind das eigentliche Herz der Informatik, und Logik ist die zugrunde liegende „Sprache“ der Algorithmen. Der Schlüssel zum Erlernen von Algorithmen ist jedoch das Erlernen von Programmierkenntnissen und Fertigkeiten und das Üben in der Grundprogrammierung ist eine der wichtigsten Grundlagen fast aller Informatik- oder AI-Fächer. Programmieren ist auch eine Fähigkeit, die Universitäten nicht immer besonders gut unterrichten können. Logik ist auch für die meisten Zweige der KI von entscheidender Bedeutung. Boolesche Logik, Prädikatenkalkül, symbolische Logik, zugrunde liegende Theorien der Permutation, Hierarchie des Designs, Rekursion, endliche Zustandsmaschinen, Turing-Maschinen, CPU-Design usw. Hier treten wir wirklich von der Mathematik in die eigentliche Informatik zurück.

Die Erweiterung auf mein eigenes Gebiet der "starken KI" -Mathematik spielt eine grundlegende, aber absolut wesentliche Rolle. Ein sehr gutes Verständnis der Grundlagen der Mathematik ist wahrscheinlich wichtiger als höhere Mathematik, aber wirklich alles, was Sie lernen, kann nützlich sein. Das eigentliche Problem in einem aufstrebenden Feld wie der Starken KI ist, dass sich alles in der Luft befindet und das Feld sich somit im totalen Fluss befindet.
Mögliche nützliche Themen sind: Neuronale Netze, genetische Algorithmen, Neurologie, Genetik, Psychologie, Kybernetik und Robotik, 3D-Grafiktheorie, Bildverarbeitungstheorie, Design von Computerspielen, Philosophie, Kunsttheorie, digitale Elektronik, Linguistiktheorie so ist lesen einer der wichtigsten wege zu lernen. Ein paar Bücher, die für mich als Ausgangspunkt dienten, waren: The Emperors New Mind von Roger Penrose, Eye and Brain von RL Gregory, aber wirklich Erkenntnisse können von fast überall her kommen