Was würde eine Maschine motivieren?

Derzeit scheint der Schwerpunkt im Bereich der KI-Entwicklung auf der Mustererkennung und dem maschinellen Lernen zu liegen. Beim Lernen geht es darum, interne Variablen basierend auf einer Rückkopplungsschleife anzupassen.

Maslows Bedürfnishierarchie ist eine von Abraham Maslow vorgeschlagene psychologische Theorie, die besagt, dass die grundlegendsten Bedürfnisse des Einzelnen erfüllt werden müssen, bevor er motiviert wird, Bedürfnisse auf höherer Ebene zu erreichen.

Was könnte eine Maschine möglicherweise zum Handeln motivieren? Sollte eine Maschine eine Art DNA-ähnliche Struktur haben, die ihre Bedarfshierarchie beschreibt (ähnlich wie in Maslows Theorie)? Was könnten die Grundbedürfnisse einer Maschine sein?

Die derzeitige Methode zur Umsetzung der Motivation ist eine Art künstliche Belohnung. Deepminds DQN wird zum Beispiel von der Punktzahl des Spiels bestimmt. Je höher die Punktzahl, desto besser. Die KI lernt, ihre Aktionen anzupassen, um die meisten Punkte und damit die größte Belohnung zu erhalten. Dies wird Verstärkungslernen genannt . Die Belohnung motiviert die KI, sozusagen ihre Aktionen anzupassen.

Technischer ausgedrückt möchte die KI den Nutzen maximieren, was von der implementierten Nutzenfunktion abhängt . Im Fall von DQN würde dies die Punktzahl im Spiel maximieren.

Das menschliche Gehirn funktioniert ähnlich, wenn auch etwas komplexer und oft nicht so einfach. Wir Menschen versuchen normalerweise, unsere Handlungen so anzupassen, dass ein hoher Ausstoß an Dopamin und Serotonin entsteht . Dies ähnelt in etwa der Belohnung, mit der AIs während des Lernens zur Verstärkung kontrolliert werden. Das menschliche Gehirn lernt, welche Aktionen die meisten dieser Substanzen produzieren, und findet Strategien, um den Output zu maximieren. Dies ist natürlich eine Vereinfachung dieses komplexen Prozesses, aber Sie haben das Bild.

Wenn Sie über Motivation sprechen, verwechseln Sie diese bitte nicht mit Bewusstsein oder Qualifikation . Diese sind für die Motivation überhaupt nicht erforderlich. Wenn Sie Bewusstsein und Qualia in der KI diskutieren möchten, ist das ein völlig anderes Ballspiel.

Ein Kind ist nicht neugierig. Es wird beim Erforschen positiv verstärkt, da die Nutzfunktion des Gehirns des Kindes die Erforschung belohnt, indem belohnende Neurotransmitter freigesetzt werden. Der Mechanismus ist also der gleiche. Wenn Sie dies auf AI anwenden, müssen Sie eine Utility-Funktion definieren, die neue Erfahrungen belohnt. Es gibt keinen inneren Antrieb ohne eine Art verstärkende Belohnung.

Dies ist eine interessante Frage.

In dem Buch "On Intelligence" von Jeff Hawkins und Sandra Blakeslee gibt es eine ziemlich realistische Vorstellung davon, woher die Neugier stammen kann.

Es basiert auf solchen Aussagen:

• Der Geist erschafft sein eigenes Modell der Welt, in der er existiert.

• Es macht die ganze Zeit Vorhersagen über alles (tatsächlich stellt Jeff Hawkins fest, dass dies das Hauptmerkmal der Intelligenz ist).

• Wenn Vorhersagen über etwas nicht von angemessenem Verhalten der Welt gefolgt werden, wird diese Sache für den Verstand sehr interessant (das Modell ist falsch und sollte korrigiert werden) und benötigt mehr Aufmerksamkeit.

Wenn Sie zum Beispiel auf das linke menschliche Auge schauen, sagt Ihr Gehirn voraus, dass es sich um ein menschliches Gesicht handelt und dass sich rechts ein zweites Auge befinden sollte. Du schaust nach rechts und siehst eine .. Nase! Was fuer eine Ueberraschung! Es braucht jetzt Ihre ganze Aufmerksamkeit und Sie haben diese Motivation, mehr Beobachtungen über solch eine seltsame Sache zu machen, die nicht in Ihr Modell passte.

Ich würde also sagen, dass die KI nach ihrem Modell etwas Bestimmtes tut oder sich zufällig verhält, während die Vorhersagen, die sie über die Welt macht, wahr sind. Aber sobald eine Vorhersage gebrochen ist, bekommt die KI die Motivation, das Modell zu korrigieren.

In einem einfachen Fall beginnt eine Maschine mit einer völligen Zufälligkeit, indem sie mit ihrer Ausgabe alles tut, was sie kann. Obwohl es kein Modell oder ein Zufallsmodell hat, wenn es irgendeine Art von Ordnung oder wiederholte Muster erkennt, wird es "interessiert" und fügt es dem Modell hinzu. Nach einer Weile wird das Modell komplexer, macht komplexere Vorhersagen und erkennt Fehler auf höherer Ebene in einem Modell. Langsam wird es klar, was zu tun ist, um etwas Interessantes zu beobachten, anstatt sich nur an alles zu erinnern.

Eine ähnliche Frage stellte ich Professor Richard Sutton in der ersten Vorlesung des Verstärkungslernkurses. Es scheint, dass es verschiedene Möglichkeiten gibt, die Maschine zu motivieren. Tatsächlich scheint mir die Maschinenmotivation ein spezielles Forschungsgebiet zu sein.

In der Regel werden Maschinen von einer objektiven Funktion, einer Kostenfunktion oder einer Verlustfunktion motiviert . Dies sind unterschiedliche Namen für dasselbe Konzept. Manchmal werden sie mit bezeichnet

Das Ziel der Maschine ist es dann, entweder ein Minimierungsproblem zu lösen, $\min_a L(a)$oder ein Maximierungsproblem, $\max_a L(a)$, abhängig von der Definition von $L$.

Ich habe einige Zeit damit verbracht, im Zusammenhang mit Spielen darüber nachzudenken.

Das Problem bei Belohnungsfunktionen ist, dass sie im Allgemeinen Gewichtungsknoten beinhalten, was nützlich, aber letztendlich materiell bedeutungslos ist.

Hier sind zwei materiell bedeutsame Belohnungen:

COMPUTATIONAL RESOURCES

Stellen Sie sich ein Spiel vor, in dem eine KI nicht um Punkte, sondern um Prozessorzeit und Speicher konkurriert.

Je besser der Algorithmus im Spiel abschneidet, desto mehr Speicher und Verarbeitungsmöglichkeiten stehen ihm zur Verfügung. Dies hat praktische Auswirkungen: Je mehr Ressourcen für die Automaten zur Verfügung stehen, desto stärker sind ihre Fähigkeiten. (Das heißt, seine Rationalität ist weniger zeitlich und räumlich begrenzt, um eine Entscheidung zu treffen.) Somit wäre der Algorithmus "motiviert", einen solchen Wettbewerb zu bestehen.

ENERGIE

Alle Automaten mit einem ausreichenden Grad an "Selbsterkenntnis", die sich hier speziell auf das Wissen beziehen, dass für die Verarbeitung Energie benötigt wird, wären motiviert, ihren eigenen Code selbst zu optimieren, um unnötiges Umdrehen von Bits (unnötiger Energieverbrauch) zu vermeiden.

Ein solcher Algorithmus wäre auch motiviert, seine Stromversorgung sicherzustellen, damit er weiterhin funktionieren kann.