Warum wurde ML erst lebensfähig, nachdem Nvidias Chips verfügbar waren?

Ich hörte einen Vortrag des Panels, der aus zwei einflussreichen chinesischen Wissenschaftlern bestand: Wang Gang und Yu Kai und anderen.

Auf die Frage nach dem größten Engpass bei der Entwicklung künstlicher Intelligenz in naher Zukunft (3 bis 5 Jahre) sagte Yu Kai, der einen Hintergrund in der Hardwareindustrie hat, dass Hardware das wesentliche Problem sei und wir den größten Teil davon bezahlen sollten unsere Aufmerksamkeit darauf. Er gab uns zwei Beispiele:

1. In der frühen Entwicklung des Computers vergleichen wir unsere Maschinen anhand ihrer Chips.
2. Künstliche Intelligenz, die in diesen Jahren sehr beliebt ist, wäre fast unmöglich, wenn sie nicht durch die GPU von Nvidia unterstützt würde.

Die grundlegenden Algorithmen existierten bereits in den 1980er und 1990er Jahren, aber künstliche Intelligenz durchlief drei KI-Winter und war nicht empirisch, bis wir Modelle mit GPU-gesteuerten Mega-Servern trainieren können.

Dann kommentierte Dr. Wang seine Meinung, dass wir auch Softwaresysteme entwickeln sollten, weil wir kein automatisches Auto bauen können, selbst wenn wir alle GPUs und Berechnungen der Welt miteinander kombiniert haben.

Dann wanderten meine Gedanken wie gewöhnlich ab und ich begann zu überlegen, was wäre, wenn diejenigen, die in den 1980er und 1990er Jahren Supercomputer betreiben können, die damals existierenden Algorithmen für neuronale Netze nutzen und sie mit Tonnen wissenschaftlicher Daten trainieren würden? Einige Leute zu dieser Zeit können offensichtlich versuchen, KI-Systeme zu bauen, die wir gerade bauen. Aber warum wurde KI ein heißes Thema und wurde erst Jahrzehnte später empirisch? Geht es nur um Hardware, Software und Daten?

Es gibt viele Faktoren für den Boom der KI-Industrie. Was viele Menschen jedoch vermissen, ist, dass der Boom hauptsächlich im Bereich Maschinelles Lernen der KI stattgefunden hat. Dies kann auf verschiedene einfache Gründe zusammen mit ihren Vergleichen in früheren Zeiten zurückgeführt werden:

• Mathematik : Die Mathematik hinter ML-Algorithmen ist ziemlich einfach und seit langem bekannt (ob es funktionieren würde oder nicht, war jedoch nicht bekannt). In früheren Zeiten war es nicht möglich, Algorithmen, die eine hohe Genauigkeit von Zahlen erfordern, um auf einem Chip berechnet zu werden, in akzeptabler Zeit zu implementieren. Eine der wichtigsten arithmetischen Operationen zur Aufteilung von Zahlen benötigt in modernen Prozessoren noch viele Zyklen. Ältere Prozessoren waren um ein Vielfaches langsamer als moderne Prozessoren (mehr als 100x). Dieser Engpass machte es unmöglich, anspruchsvolle Modelle auf modernen Prozessoren zu trainieren.
• $1$$0$
• Parallelisierung : Das Konzept der Parallelisierung von Matrixoperationen ist nichts Neues. Erst als wir anfingen, Deep Learning als eine Reihe von Matrixoperationen zu betrachten, stellten wir fest, dass es auf massiv parallelen GPUs leicht parallelisiert werden kann. Wenn Ihr ML-Algorithmus jedoch nicht von Natur aus parallel ist, spielt es kaum eine Rolle, ob Sie CPU oder GPU verwenden ( zB RNNs).
• Daten : Wahrscheinlich die größte Ursache für den ML-Boom. Das Internet bietet die Möglichkeit, große Datenmengen von Benutzern zu sammeln und diese auch interessierten Parteien zur Verfügung zu stellen. Da ein ML-Algorithmus nur ein auf Daten basierender Funktionsapproximator ist, sind Daten das Wichtigste in einem ML-Algorithmus. Je mehr Daten vorhanden sind, desto besser ist die Leistung Ihres Modells.
• Kosten : Die Kosten für die Schulung eines ML-Modells sind erheblich gesunken. Die Verwendung eines Supercomputers zum Trainieren eines Modells mag in Ordnung sein, aber hat es sich gelohnt? Supercomputer sind im Gegensatz zu normalen PCs in Bezug auf Kühlung, Speicherplatz usw. enorm ressourcenhungrig. Ein kürzlich veröffentlichter Artikelon MIT Technology Review weist auf den CO2-Fußabdruck des Trainings eines Deep-Learning-Modells (Teilzweig von ML) hin. Dies ist ein guter Indikator dafür, warum es früher nicht möglich gewesen wäre, auf Supercomputern zu trainieren (wenn man bedenkt, dass moderne Prozessoren viel weniger Strom verbrauchen und höhere Geschwindigkeiten bieten). Ich bin mir zwar nicht sicher, aber ich denke, frühere Supercomputer waren auf "paralleles + sehr hochpräzises Rechnen" (erforderlich für Wetter, Astronomie, militärische Anwendungen usw.) spezialisiert, und der "sehr hohe Präzisionsteil" ist im Szenario des maschinellen Lernens übertrieben.

Ein weiterer wichtiger Aspekt ist, dass heutzutage jeder Zugang zu leistungsstarken Computern hat. Auf diese Weise kann jeder neue ML-Modelle bauen, vorhandene Modelle neu trainieren, Modelle modifizieren usw. Dies war in früheren Zeiten nicht möglich.

All diese Faktoren haben zu einem enormen Anstieg des Interesses an ML geführt und den Boom ausgelöst, den wir heute sehen. Schauen Sie sich auch diese Frage an, wie wir uns über digitale Prozessoren hinausbewegen.

GPUs waren ideal für den KI-Boom

• Sie treffen die richtige Zeit

KI wurde für eine lange Zeit erforscht. Fast ein halbes Jahrhundert. Das war jedoch alles Erforschung, wie Algorithmen funktionieren und aussehen würden. Als NV sah, dass die KI bald zum Mainstream wird, schauten sie sich ihre GPUs an und stellten fest, dass die enorme Parallelverarbeitungsleistung bei relativ einfacher Programmierung ideal für die kommende Ära ist. Viele andere Leute haben das auch erkannt.

• GPUs sind eine Art Allzweckbeschleuniger

GPGPU ist ein Konzept zur Verwendung der GPU-Parallelverarbeitung für allgemeine Aufgaben. Sie können Grafiken beschleunigen oder Ihren Algorithmus dazu bringen, Tausende von Kernen auf der GPU zu nutzen. Das macht die GPU zu einem großartigen Ziel für alle Arten von Anwendungsfällen, einschließlich KI. Da sie bereits verfügbar und nicht zu schwer zu programmieren sind, ist sie die ideale Wahl für die Beschleunigung von KI-Algorithmen.

Entschuldigung, aber die künstliche Intelligenz wurde noch nicht erfunden. In der FIRST Lego League können die Roboter nicht auf einer einfachen Linie fahren, in der DARPA Robotics Challenge kämpfen die humanoiden Roboter darum, das Ventil zu öffnen, und der Tesla Autopilot wird für reale Verkehrssituationen nicht empfohlen. Die einzige Situation, in der Deeplearning funktioniert, sind Powerpoint-Folien, bei denen die Genauigkeit zum Erkennen einer Katze 100% beträgt. In Wirklichkeit finden die normalen Bildsuchmaschinen jedoch nichts.

Gehen wir einen Schritt zurück: Welche Art von KI-Anwendung ist heute verfügbar? Richtig, nichts. Das einzige Steuersystem, das in der Realität verfügbar ist, ist der normale Kühlschrank, der die Temperatur bei 5 Grad hält. Dies hat jedoch nichts mit maschinellem Lernen zu tun, sondern mit einem Thermostat.

Der Grund, warum Deeplearning überall verfügbar ist, liegt nicht darin, dass es eine leistungsstarke Technologie zur Erkennung von Bildern ist, sondern darin, dass es Teil des Lehrplans ist, Menschen zu unterrichten. Deeplearning bedeutet, dass der Mensch etwas über Statistik, Python-Programmierung und Kantenerkennungsalgorithmus lernen sollte. Nicht Computer werden schlauer, sondern Studenten.

Bücher zum Thema

Auch wenn Deeplearning selbst keine sehr leistungsfähige Technik zur Steuerung von Robotern ist, ist die Menge und Qualität der Bücher zu diesem Thema großartig. Seit dem Jahr 2010 wurden viele Mainstream-Veröffentlichungen veröffentlicht, die dazu beigetragen haben, künstliche Intelligenz einem größeren Publikum vorzustellen. Alle haben etwas mit GPU-unterstützten neuronalen Netzen im Titel und sie erklären sehr gut, was Bilderkennung, Bewegungsplanung und Spracherkennung sind. Selbst wenn der Leser beschließt, überhaupt kein maschinelles Lernen zu verwenden, sondern ein Roboterprojekt mit dem herkömmlichen Paradigma zu realisieren, wird er vom Lesen der neu erstellten Tutorials profitieren.