Wie nennt man ein maschinelles Lernsystem, das weiter lernt?

So wie ich es aus dieser Videovorlesung verstehe , gibt es drei Arten von tiefem Lernen:

• Überwacht
• Unbeaufsichtigt
• Verstärkung

All dies kann dazu dienen, ein neuronales Netzwerk entweder nur vor seiner Bereitstellung oder während seines Betriebs zu trainieren .

Für den letzteren Fall wird bezeichnet als kontinuierliches Lernen hier und hier und als dynamisches Lernen hier und hier .

Welchen Begriff sollte ich verwenden, um einen Algorithmus für maschinelles Lernen zu bezeichnen, der (auch nach der Bereitstellung) weiter lernt? Wenn es "kontinuierlich" ist, gibt es einen entgegengesetzten Begriff (z. B. "statisch" für "dynamisch") für Systeme, die vor der Bereitstellung nicht mehr lernen?

Zuverlässigkeit von Definitionen

Die Begriffe "Überwacht", "Nicht überwacht" und "Verstärkung" werden in der in der Frage genannten Videovorlesung angemessen erläutert. Pascal Vincent von der Universität Montreal hat die Vorlesung jedoch nicht kommentiert, keine Beweise vorgelegt oder einen Vergleich unter Verwendung von Arbeitssystemen für jedes Semester demonstriert. Es ist nur die Ansicht eines Fakultätsmitglieds. Bei der Suche nach Symmetrie und Präzision in den Definitionen dieser drei Begriffe sowie bei Kontinuierlich und Dynamisch kann Mehrdeutigkeit auftreten.

Es gibt keine Standardorganisation, die Begriffe in der gesamten Forschungs- und Entwicklungsgemeinschaft für künstliche Intelligenz definiert. Mangelnde Standardisierung ist ein großes Problem in der Softwareindustrie im Allgemeinen, aber die Softwareentwicklung ist im Vergleich zu anderen technischen Bereichen noch jung.

Im Maschinenbau kann man ein System entwerfen und sechs Schraubenkreise aus 1 / 2-20 2 "langen Schrauben aus rostfreiem Stahl verlangen. Hersteller können die Schrauben bestellen und den Kreis aufgrund von Standards und Konventionen problemlos beschaffen. Bauingenieure können dies eindeutig feststellen Was ist und was nicht ein Stützpfeiler in einem Autobahnbrückendesign? In der Elektrotechnik ist ein Instrumentenverstärker eine Klasse von Schaltkreisen, über die es wenig Unklarheiten gibt.

In der Softwareentwicklung weisen Begriffe wie Component oder Framework eine bemerkenswerte Mehrdeutigkeit auf. Im Gegensatz dazu weisen die Hauptfunktionen einer RestFUL-API nur geringe Mehrdeutigkeiten auf. In ähnlicher Weise haben Untergruppen von Softwareentwicklung, künstlicher Intelligenz und maschinellem Lernen ihre mehrdeutigen und ihre relativ genau definierten Begriffe.

Lernen folgt der Bereitstellung

Der Begriff in der Mitte dieser Frage ist interessant: "Nur vor seiner Bereitstellung."

Es gibt tatsächlich keine Lernsoftware, die vor der Bereitstellung lernt. Die Software muss irgendwo bereitgestellt werden, um zu lernen. Wenn sich das Domänenwissen im Quellcode befindet, hat die Person, die das Programm geschrieben hat, das Lernen durchgeführt, nicht das Softwaresystem.

Es kann eine Komponente geben, die das Gelernte sowohl lernt als auch verwendet. Eine andere Anordnung umfasst zwei Komponenten, eine, die lernt, aber keine Leistung erbringen kann, und eine separate Komponente, die nicht lernen kann, aber basierend auf dem, was die vorherige Komponente gelernt hat, eine Leistung erbringt. Im integrierten Fall muss die eine Komponente bereitgestellt werden, um mit dem Lernen zu beginnen. Im Fall mit zwei Komponenten muss die Lernkomponente bereitgestellt werden, um mit dem Lernen zu beginnen. Dies gilt für neuronale Netze und andere Arten von Lernsystemen.

Die Frage wäre sinnvoller, wenn sie so lauten würde: "Gibt es einen Begriff für jene Systeme, die aufhören zu lernen, bevor sie zur Ausführung ihrer Funktion verwendet werden?"

Es gibt keinen einzigen Begriff, der genau so definiert ist. Eine Möglichkeit, diese Systeme ohne Übereinstimmung zwischen Lernen und Ausführen von Funktionen unter Verwendung des Gelernten zu beschreiben, ist zeitlich getrennt, zeitlich im Zeitbereich bedeutsam, disjunkt ohne Schnittpunkt. Wenn man ein System als zeitlich getrennt bezeichnet, kann man natürlich nicht sagen, ob das Lernen später wieder aufgenommen werden kann.

Relativ eindeutige, vernünftige Definitionen

So würde ich die Begriffe definieren, aber dies ist nur meine Ansicht, basierend auf meiner Forschungserfahrung und meinem akademischen Hintergrund. Ich habe leider weniger Zeit als Mitglieder der Universitätsfakultät, um Anmerkungen, Beweise oder vergleichenden Pseudocode bereitzustellen.

• Überwacht - Der Lernprozess wird durch einen anderen externen Faktor gesteuert oder unterstützt als nur das Signal, das das zu lernende Muster enthält. In der üblichen Praxis besteht die Überwachung tatsächlich aus einer Reihe von erwarteten Werten. Die erwarteten Werte orientieren sich häufig in den Eingabedaten neben den Merkmalswerten der Trainingsdaten. (Eine andere Möglichkeit, dies zu betrachten, besteht darin, dass die unabhängigen und abhängigen Daten in einer Einzelpunktstruktur enthalten sind.)
• Unbeaufsichtigt - Nicht überwacht. Über die Feature-Daten hinaus werden weder erwartete Werte noch andere Daten zur Unterstützung des Trainings bereitgestellt. (Dies ist bei naiven Mustererkennungsalgorithmen der Fall.)
• Verstärkung - Die Bereitstellung eines Korrektheitssignals zeigt dem Lernprozess an, ob das jüngste Verhalten, das sich aus vorherigem Lernen ergibt, wünschenswert oder unerwünscht ist. In einigen Systemen wird auch der Grad der Erwünschtheit oder Unerwünschtheit angegeben. Das Signal kann ein Vektor oder eine Matrix in komplexeren Designs sein. Psychologieorientierte Forscher bezeichnen das Korrektheitssignal manchmal als Repräsentation von Belohnung oder Bestrafung, aber dies ist der Anthropomorphismus von etwas Grundlegenderem als die Zwangsaspekte von Elternschaft, Tierausbildung, wirtschaftlichem Anreiz oder Strafverfolgung.
• Wiedereinsteiger - Der Lernprozess ist Wiedereinsteiger, dh er kann anhalten, das System kann eine Funktion mit dem Gelernten ausführen und das Lernen kann fortgesetzt werden. Beachten Sie, dass die zeitliche Granularität nicht impliziert ist. Kein Standard definiert, ob der Wechsel zwischen Lernen und Ausführen basierend auf dem Gelernten jede Nanosekunde oder jedes Jahr erfolgt.
• Kontinuierlich - Das Lernen hört nicht auf, was bedeutet, dass das Lernen gleichzeitig mit der Verwendung des Gelernten stattfindet. (Kontinuität ist im menschlichen Gehirn oder bei massiv parallelen Computergeräten mit mehreren Busarchitekturen tatsächlich vorhanden. Sie wird lediglich in einem einzelnen CPU-System simuliert, da selbst in den am besten integrierten Lernsystemen die an die Erfassung eines Musters delegierten Anweisungen unterschiedlich sein müssen aus den Anweisungen, die das Gelernte zur Ausführung einer nützlichen Funktion verwenden. In der Praxis wird daher bei kontinuierlichen Ansätzen normalerweise ein Wiedereinsteigerlernen verwendet.)

Dynamik

Über die Wörterbuchdefinition dieser Begriffe hinaus gibt es zu den Begriffen Statisch und Dynamisch wenig hinzuzufügen. Eine beliebige Anzahl von Merkmalen oder Organen von Lernsystemen kann entweder dynamisch oder statisch sein. Dies sind nur einige Beispielkontexte, in denen Dynamik im Bereich des maschinellen Lernens relevant sein kann.

• Werte der Kanten zwischen Eckpunkten
• Anzahl der Eckpunkte an einer Stelle in der Struktur
• Übergreifende Netzwerkparameter oder -signale
• Anzahl der Dimensionen in Signalen entlang der Kanten
• Bereiche jeder Dimension
• Anzahl der Schichten
• Topologie von Schichten

Zusammenfassend

Wenn Sie nach einem Antonyme für kontinuierliches Lernen suchen, möchten Sie möglicherweise diskontinuierliches Lernen verwenden. So enttäuschend dies auch erscheinen mag, es ist das Antonyme mit weniger Mehrdeutigkeit. Begriffe wie Wiedereintritts-Trainingsalgorithmen sind zwar technisch korrekter, aber etwas unklar.

Statisch und Dynamisch sollten immer Antonyme voneinander bleiben. Die vielen Arten von dynamischen Merkmalen (oben aufgeführt), die ein neuronales Netz haben kann, machen die Beziehung zwischen Dynamik und Kontinuität zu kompliziert, um sie kurz zusammenzufassen.

Wissen

Vielen Dank an Douglas Daseeco, unseren Laborleiter, für die Ermutigung zu umfassenden Antworten auf Fragen auf hoher Ebene (anstatt sie als zu weit gefasst oder unzureichend zu beantworten) und für die Korrektur meiner anfänglichen Erklärung zur Verstärkung. Ich hatte wiedereintretende Konzepte fälschlicherweise in die Verstärkung verwickelt und konnte das Vorhandensein eines Korrektheitssignals nicht ansprechen.

In einem so florierenden Bereich wie der KI sind viele Begriffe nicht vollständig festgelegt, und in einigen Bereichen wird es länger dauern, bis sich die Community auf bestimmte Begriffe für bestimmte Technologien geeinigt hat.

Daher ist es möglicherweise noch nicht möglich, eine endgültige Antwort auf Ihre Frage zu geben. Es ist jedoch wichtig zu beachten, dass die von Ihnen angegebenen Referenzen nicht alle über dieselbe Art des Lernens während des Betriebs sprechen . Und dies gibt Hinweise, um tiefer in das Thema einzudringen.

Der einfachste Weg, während des Betriebs zu lernen, ist einfaches Verstärkungslernen. DQN von Deepmind funktioniert genau so. Es probiert verschiedene Bewegungen aus und lernt, was funktioniert, indem es über die Belohnungsfunktion Feedback erhält. Es gibt nicht unbedingt eine separate Lern- und Arbeitsphase. Die KI wird mit der Zeit immer besser. Dies bedeutet, dass sich der NN ständig an die jeweilige Herausforderung anpasst. Wenn sich diese Herausforderung ändert, nimmt er die neue Herausforderung im Laufe der Zeit an und "vergisst", was zuvor funktioniert hat, wenn diese alte Strategie nicht mehr effizient ist.

Ihr erster Hinweis auf Deepmind befasst sich mit dem Aspekt des Vergessens. Wenn es um kontinuierliches Lernen geht, kann dies auch bedeuten, dass ein System frühere Fähigkeiten nicht vergisst, sondern sie später nutzen kann, nachdem es etwas völlig anderes gelernt hat. Dies erfordert fortgeschrittenere Architekturen der KI. Und dieser Ansatz bedeutet nicht, dass der NN während des Betriebs unbedingt weiter lernen muss. Es könnte diese Technik während des Trainings anwenden und aufhören zu lernen, sobald es produktiv ist.

Und es gibt ein drittes Feld, rekursive Netzwerke, die ihre Informationen nicht direkt von Neuron zu Neuron weitergeben, sondern Schleifen oder andere Arten von Gates enthalten können, die den Informationsfluss steuern. Solche Architekturen sind normalerweise komplexer als normale NNs, ähneln jedoch etwas mehr der Arbeit von Tiergehirnen. In diesem Bereich wird häufig der Begriff Dynamik verwendet.

Daher würde ich sagen, dass der Begriff, den Sie suchen, kontinuierliches Lernen ist - ich habe auch Online-Lernen für diese Art von NN gelesen -, wenn Sie sagen möchten, dass der NN während der Produktion weiter lernt. Der Begriff Dynamik ist häufiger für rekursive oder andere komplexere Arten von NNs und passt meiner Meinung nach besser dorthin.

Um meine Antwort abzuschließen, muss ich zum Anfang zurückspringen. Viele Begriffe im Bereich der KI sind nicht endgültig festgelegt. Daher ist meine Analyse nur eine Zusammenfassung der Trends, die ich in verschiedenen Veröffentlichungen und Vorträgen gesehen habe und die in den kommenden Jahren nicht zutreffen dürfen. Hoffe es hilft trotzdem.

Es gibt verschiedene Begriffe oder Ausdrücke, die sich auf solche Systeme beziehen, wie Online-Lernen , inkrementelles Lernen , kontinuierliches Lernen , kontinuierliches Lernen und lebenslanges Lernen . Sie werden manchmal synonym verwendet, aber einige von ihnen haben leicht unterschiedliche Bedeutungen. Beispielsweise muss das Online-Lernen nicht inkrementell sein. Dies bezieht sich auf Algorithmen, die versuchen, zuvor gelernte Informationen nicht zu vergessen.

Das Gegenteil von Online ist offline. Der Ausdruck Batch-Lernen wird jedoch manchmal als Antonyme für Online-Lernen verwendet.