Inwieweit ist fortgeschrittene Mathematik in der KI-Forschung notwendig / nützlich?

18

Ich studiere zurzeit Mathematik. Ich glaube jedoch nicht, dass ich in Zukunft professioneller Mathematiker werden möchte. Ich denke darüber nach, meine mathematischen Kenntnisse in die Forschung mit künstlicher Intelligenz einzubringen. Ich bin mir jedoch nicht sicher, wie viele Mathematikkurse ich belegen soll. (Und welche Kurse zur CS-Theorie sollte ich besuchen?)

Von Quora habe ich erfahren, dass die Fächer Lineare Algebra, Statistik und Konvexe Optimierung für das maschinelle Lernen am relevantesten sind (siehe diese Frage). Jemand anderes erwähnte, dass das Erlernen von linearer Algebra, Wahrscheinlichkeit / Statistik, Kalkül, grundlegenden Algorithmen und Logik erforderlich ist, um künstliche Intelligenz zu untersuchen (siehe diese Frage).

All diese Fächer kann ich in den ersten 1,5 Jahren meines Mathematik-Bachelor an unserer Universität kennenlernen.

Ich habe mich allerdings gefragt, ob es einige Mathematikfächer für Hochschulabsolventen gibt, die für das Studium der künstlichen Intelligenz nützlich oder sogar notwendig sind. Was ist mit ODEs, PDEs, Topologie, Maßtheorie, linearer Analyse, Fourier-Analyse und Analyse von Mannigfaltigkeiten?

Ein Buch, das nahe legt, dass eine ziemlich fortgeschrittene Mathematik für das Studium der künstlichen Intelligenz nützlich ist, ist Pattern Theory: The Stochastic Analysis of Real-World-Signale von David Mumford und Agnes Desolneux (siehe diese Seite). Es enthält Kapitel zu Markov-Ketten, stückweisen Gauß-Modellen, Gibbs-Feldern, Mannigfaltigkeiten, Lügengruppen und Lügenalgebren sowie deren Anwendungen auf die Mustertheorie. Inwieweit ist dieses Buch für die KI-Forschung nützlich?

Max Muller
quelle
22
In mehr als zwei Jahren auf dieser Website habe ich mehr als ein halbes Dutzend Fragen vom Typ "Wofür brauche ich Mathematik?" gesehen. Que Antworten, die wie der Inhalt des Princeton Companion to Mathematics lesen. 1) AI ist ein riesiges Feld, die Mathematik, die in seinen Unterfeldern verwendet wird, ist in allen Varianten erhältlich. 2) Nehmen Sie an Ihren Grundkursen für Mathematik teil und wählen Sie je nach Interesse fortgeschrittenere Kurse aus. 3) Recherchiere in KI, finde, was du magst, finde, was Mathe dort verwendet wird; 4) Wir können nicht im Voraus wissen, welche Mathematik für dieses oder jenes Problem nützlich sein wird.
Sasho Nikolov

Antworten:

55

Ich möchte nicht herablassend klingen, aber die Mathematik, die Sie in den Kursen für Grundstudenten und sogar für Hochschulabsolventen studieren, ist nicht fortgeschritten. Es sind die Grundlagen . Der Titel Ihrer Frage sollte lauten: Ist "grundlegende" Mathematik in der KI-Forschung erforderlich / nützlich? Also, verschling so viel du kannst, ich habe noch nie einen Informatiker getroffen, der sich darüber beschwert hat, zu viel Mathe zu wissen, obwohl ich viele getroffen habe, die sich darüber beschwert haben, nicht genug davon zu wissen. Ich erinnere mich, wie ich einem Kommilitonen in der KI geholfen habe, einen Algorithmus im Page-Rank-Stil zu verstehen. Für mich war es nur eine ziemlich einfache lineare Algebra, aber er litt, weil er kein Gefühl dafür hatte, worum es bei Eigenwerten und Eigenvektoren ging. Stellen Sie sich die Dinge vor, die KI-Leute tun könnten, wenn sie tatsächlich viel Mathe wüssten!

Ich unterrichte an einer Mathematikabteilung und bekomme regelmäßig Anfragen von meinen CS-Kollegen, Mathe-Majors für CS-PhDs zu empfehlen, da sie Mathe-Studenten bevorzugen. Sie sehen, Mathe ist wirklich sehr, sehr schwer zu lernen, aber die meisten Aspekte der Informatik sind es nicht. Ich weiß, ich war ein Mathe-Major, der eine CS-Graduiertenschule besucht hat. Sicher, ich war in Bezug auf Betriebssystemkenntnisse "zurückgeblieben" (obwohl ich gute Kenntnisse in Unix und VMS hatte), aber in Bezug auf "Theorie" war ich weit voraus. Es ist keine symmetrische Situation.

Andrej Bauer
quelle
6
Maßtheorie und Wahrscheinlichkeitstheorie bilden die Grundlage für alle wahrscheinlichkeitstheoretischen Überlegungen. Die Topologie ist für die topologische Datenanalyse sehr wichtig geworden. Die Fourier-Analyse ist wichtig für die Lerntheorie (sie wird verwendet, um die Empfindlichkeit von Funktionen und deren Schwierigkeit zu verstehen). Vielfältiges Lernen erfordert ein tiefes Verständnis der Vielfältigen Geometrie.
Suresh Venkat
2
@MaxMuller: Um die Liste fortzusetzen, werden Gruppentheorie und Algebraik (wie Lie-Algebren) bei der Mustererkennung in der Dekompositionstheorie von Bildern verwendet, bei denen eine Topologie dringend erforderlich ist (und eine tiefe Verbindung zwischen Lie-Algebren und Mannigfaltigkeiten besteht, die Sie benötigen) lernen auf dem Weg). Bücher wie "Fundamentals of Pattern Recognition" von Monique Pavel führen Sie sogar in die Kategorietheorie und deren Anwendung ein, die auch in der KI für die Grundlagen der formalen Sprache und der Beweistheorie (die eine Argumentationstheorie sein kann) von großer Bedeutung ist. ...
ex0du5
1
Historischer Intro Ebene grade Kurse, Mathematiker lernen alle ihre Mathe auf ihrem eigenen (oder in Lesegruppen und Seminaren) .. es ist nicht alles , dass hart , wenn Sie einige Grundlagen haben ... ok, es kann schwer sein, aber es ist nicht unmöglich.
Sasho Nikolov
1
Max, ich unterrichte auch Aikido. Ich erinnere mich nicht an Schüler des Aikido, die gefragt haben: "Warum muss ich die Grundlagen lernen (wie man fällt, wie man sich von der Angriffslinie entfernt)?" Manchmal müssen Sie ein bisschen darauf vertrauen, dass Ihre Lehrer wissen, was sie tun. Ich werde jedoch als erster zugeben, dass wir viel Mist unterrichten, besonders an Gymnasien und Grundschulen, an denen Mathematik gelehrt wird, als ob der Zweck darin bestünde, die Neugierde der Schüler zu unterdrücken. Aber in deinem Fall sind die Themen, die du aufgelistet hast, kein Mist. Vertrau mir.
Andrej Bauer
13
Und noch ein Kommentar. Wenn Sie nur Mathematik lernen, die sich in einigen Bereichen des CS bereits als nützlich erwiesen hat, werden Sie nie die Chance haben, neue Mathematik anzuwenden. Sie werden immer zurück sein. Wissenschaft ist eine Kunst, kein 9-zu-5-Job. Wenn du mich fragst "soll ich Physik lernen, ich möchte in die KI einsteigen", sage ich "absolut so!" Und wenn du fragst "sollte ich Soziologie lernen, möchte ich in die KI einsteigen", wird meine Antwort immer noch dieselbe sein.
Andrej Bauer
6

Max, hier ist eine (unbedingt) unvollständige Liste:

Grundlegende lineare Algebra und Wahrscheinlichkeit werden überall benötigt. Ich nehme an, Sie brauchen dafür keine Referenzen.

Meines Wissens wurde die Fourier-Analyse in einigen lerntheoretischen Untersuchungen verwendet. Schauen Sie sich zum Beispiel dieses Papier an.

Das Konzept des vielfältigen Lernens wird immer beliebter, und Sie können sich die Werke von Michail Belkin und Partha Niyogi ansehen. Diese Arbeit erfordert das Verständnis verschiedener Konzepte im Zusammenhang mit Mannigfaltigkeiten und der Riemannschen Geometrie.

Es gibt einen weiteren Aspekt des maschinellen Lernens, der tiefere Wurzeln in der Statistik hat, nämlich die Informationsgeometrie. Dieser Bereich knüpft an verschiedene Konzepte der Riemannschen Geometrie, der Informationstheorie, der Fisher-Information usw. an. Ein Cousin dieser Art von Studie findet sich in der algebraischen Statistik - einem aufstrebenden Gebiet mit viel Potenzial.

Sumio Watanabe untersuchte eine andere Grenze, nämlich das Vorhandensein von Singularitäten in Lernmodellen und wie man tiefe Ergebnisse von Auflösungen aus der algebraischen Geometrie anwendet , um viele Fragen zu beantworten. Watanabes Ergebnisse stützen sich stark auf Heisuke Hironakas berühmte Arbeit, die ihm die Fields-Medaille einbrachte.

Ich vermute, ich lasse viele andere Bereiche aus, die relativ viel Mathematik erfordern. Aber wie Andrej betonte, liegen die meisten von ihnen wahrscheinlich nicht an den Grenzen der Mathematik, sondern sind relativ ältere und etablierte Gebiete.

In jedem Fall gehe ich jedoch davon aus, dass der derzeitige Stand der KI, der in das Mainstream-Computing eingegangen ist - wie in den Empfehlungssystemen von Amazon oder in den in Apache Mahout gefundenen Bibliotheken für maschinelles Lernen - keine fortgeschrittenen mathematischen Kenntnisse erfordert. Ich kann mich irren.

Arnab
quelle
2

Hängt von Ihrer Definition von fortgeschritten ab und davon, welche Art von KI Sie studieren möchten.

Viele AI-Probleme lassen sich nachweislich nicht lösen - optimale Lösungen für POMDPs sind nachweislich NP-vollständig, optimale Lösungen für DEC-POMDPs sind nachweislich NEXP-vollständig usw. Ohne einen unerwarteten Durchbruch in der Komplexitätstheorie sind also umso mehr Näherungsalgorithmen bekannt und ihre theoretischen Grundlagen, desto besser. (Zusätzlich zur Maßtheorie usw. ist es erforderlich, die Bayes'sche Wahrscheinlichkeit, die dem POMDP-Modell zugrunde liegt, wirklich zu verstehen.)

Insbesondere die künstliche Intelligenz mit mehreren Agenten überschneidet sich mit der Spieltheorie. Daher ist es hilfreich, die Spieltheorie zu kennen, was wiederum von der Topologie, der Maßtheorie usw. abhängt. Ebenso sind viele Probleme in der Spieltheorie unlösbar. Einige sind sogar unter Näherung und sogar Verständnis schwer zu handhaben , wenn es möglich ist , eine sinnvolle Näherung durchzuführen, die einen erheblichen Teil der Mathematik in Anspruch nimmt.

(Ich stelle fest, dass die Spieltheoretiker in den letzten Jahren auf dem Gebiet der Nobel-Ökonomie eine ziemlich gute Leistung erbracht haben, und das ist stark mathematischer Natur. Ich gehe davon aus, dass die heutigen algorithmischen Spieltheoretiker in etwa der gleichen Zeit sein werden Position.)

Novak
quelle
1

Die Mathematik in der KI ist nicht fortgeschritten und wird im Grundstudium unterrichtet. KI-Trainings- und Inferenzalgorithmen fallen in den Bereich der fortgeschrittenen Informatik.

Es ist ein Wortspiel. Bei der Erforschung der KI sollte auch etwas Geschichte berücksichtigt werden.

In der aktuellen Nomenklatur scheint Deep Learning beispielsweise ein beliebtes Schlüsselwort in der KI zu sein.

Deep Learning war das, was früher als künstliche neuronale Netze (Artificial Neural Networks, ANNs) bezeichnet wurde, wie das Backpropagating Perceptron Network Model (BACKPROP) von Hinton und dergleichen.

Die Mathematik, die mit einer BACKPROP ANN (zum Beispiel) verbunden ist, ist im Wesentlichen eine Ableitungsrechnung für das Training und eine Matrixalgebra für die Inferenz.

Der neue Aspekt des Deep Learning ist die physikalische Trennung von Trainings- und Inferenzalgorithmen. CPUs werden immer noch zum Trainieren verwendet, aber jetzt werden GPUs zum Ableiten verwendet.

Zum Beispiel werden ANN-Matrizen trainiert (gewichtet), indem Fehler unter Verwendung einer Korrekturableitungsrechnung rückpropagiert werden. Dies ist am besten für CPUs geeignet und muss nur einmal pro ANN-Bereitstellung durchgeführt werden.

Der ANN wird dann in einer stark parallelisierten GPU-Architektur bereitgestellt. Die Vorwärtsableitungsmathematik beinhaltet eine intensive Matrixalgebra, für die GPUs entwickelt wurden.

Dies steigert die Leistung eines bereitgestellten ANN im Vergleich zu früheren CPU-basierten Bereitstellungen um mehrere Größenordnungen und kann effizienter auf eine beliebige Anzahl dedizierter GPUs skaliert werden.

Unternehmen wie Nvidia und AMD vermarkten jetzt sehr hochwertige GPU-Chipsätze als Deep Learning Machines. Der Begriff GPU war schon immer eine Fehlbezeichnung, da es sich um Allzweck-Parallelprozessoren handelt. Beispielsweise werden GPUs in Blockchain-Anwendungen manchmal auch als Bitminer bezeichnet.

Was alt war, ist jetzt neu. Die Mathematik hat sich nicht geändert, nur die Terminologie der Informatik (hauptsächlich aufgrund des Marketingdrucks).

Der Begriff KI galt schon immer als ein dunkles Pferd. Deep Learning ist heute der politisch korrekte, marktfreundliche Begriff.

Birkensocken
quelle
2
Eine frühere Antwort hat bereits Gegenbeispiele zu Ihrer Behauptung im ersten Satz gegeben. (Es gibt auch viele andere.) Haben Sie die vorherigen Antworten vor dem Posten gelesen? Sie können diese Antwort bearbeiten, um Ihre Ansprüche einzugrenzen.
DW
2
Ihre Behauptung, dass "CPUs noch zum Trainieren [tiefer Netzwerke] verwendet werden, aber jetzt GPUs zum Ableiten verwendet werden", ist eher irreführend (wenn nicht falsch). Jeder trainiert moderne neuronale Netze auf GPUs. Die meisten Benutzer stellen sie auch auf GPUs bereit, aber einige Bereitstellungsumgebungen (z. B. einige Mobiltelefone) verwenden weiterhin CPUs.
Mike Izbicki
Ich stimme Mike zu. "GPUs werden für das Training und CPUs für das Inferencing verwendet" ist weniger falsch als zu sagen, dass "CPUs für das Training und GPUs für das Inferencing verwendet werden"
ASDF
@MikeIzbicki Pipeline-Architekturen wie CUDA, OpenCL usw. sind für das Training in Deep Learning erforderlich, das für die Fehlerkorrektur stark auf CPU-Kerne angewiesen ist. Inferenz-Pipelines benötigen nur CPU-Kerne, um die GPU-Kerne zu versorgen und zu sammeln. Energie- und Wärmeeffizienz ist das Ziel, weshalb sich das Gleichgewicht zwischen den Kerntypen zwischen Training und Inferenz verschiebt. Welches ist, was ich bereits gesagt habe.
Birkensocks
-1

AI ist ein erstaunlich breites Feld mit einer Vielzahl von möglichen Routen. Einige sind extrem mathematisch, andere berühren die Mathematik kaum. Andere haben bereits gute Antworten für die mathematischeren Ansätze gegeben. Von den Themen, auf die Sie hingewiesen haben,

"Lineare Algebra, Wahrscheinlichkeit / Statistik, Analysis, Grundlegende Algorithmen und Logik"

-Du brauchst oder wirst im Grunde von allen profitieren. Viele Ansätze basieren zumindest teilweise direkt auf Wahrscheinlichkeit und Statistik - Heuristik, neuronale Netze, genetische Algorithmen, Fuzzy-Logik. Kalkül ist ebenso nützlich - in der KI oder in der allgemeinen Informatik finden Sie es fast überall. Lineare Algebra ist etwas, das Sie definitiv auch brauchen.

Die beiden aus CS / AI-Sicht wichtigsten Themen sind Algorithmen und Logik, Algorithmen sind das eigentliche Herz der Informatik, und Logik ist die zugrunde liegende „Sprache“ der Algorithmen. Der Schlüssel zum Erlernen von Algorithmen ist jedoch das Erlernen von Programmierkenntnissen und Fertigkeiten und das Üben in der Grundprogrammierung ist eine der wichtigsten Grundlagen fast aller Informatik- oder AI-Fächer. Programmieren ist auch eine Fähigkeit, die Universitäten nicht immer besonders gut unterrichten können. Logik ist auch für die meisten Zweige der KI von entscheidender Bedeutung. Boolesche Logik, Prädikatenkalkül, symbolische Logik, zugrunde liegende Theorien der Permutation, Hierarchie des Designs, Rekursion, endliche Zustandsmaschinen, Turing-Maschinen, CPU-Design usw. Hier treten wir wirklich von der Mathematik in die eigentliche Informatik zurück.

Die Erweiterung auf mein eigenes Gebiet der "starken KI" -Mathematik spielt eine grundlegende, aber absolut wesentliche Rolle. Ein sehr gutes Verständnis der Grundlagen der Mathematik ist wahrscheinlich wichtiger als höhere Mathematik, aber wirklich alles, was Sie lernen, kann nützlich sein. Das eigentliche Problem in einem aufstrebenden Feld wie der Starken KI ist, dass sich alles in der Luft befindet und das Feld sich somit im totalen Fluss befindet.
Mögliche nützliche Themen sind: Neuronale Netze, genetische Algorithmen, Neurologie, Genetik, Psychologie, Kybernetik und Robotik, 3D-Grafiktheorie, Bildverarbeitungstheorie, Design von Computerspielen, Philosophie, Kunsttheorie, digitale Elektronik, Linguistiktheorie so ist lesen einer der wichtigsten wege zu lernen. Ein paar Bücher, die für mich als Ausgangspunkt dienten, waren: The Emperors New Mind von Roger Penrose, Eye and Brain von RL Gregory, aber wirklich Erkenntnisse können von fast überall her kommen

Robert Lucien Howe
quelle