Maschinelles Lernen vs. Systemidentifikation?

Kann mir jemand die Unterschiede und Ähnlichkeiten zwischen maschinellem Lernen und Systemidentifikationen erklären? Sind das nur zwei Namen der gleichen Sache? Auf dieser Seite heißt es:

Communitys für maschinelles Lernen und Systemidentifizierung stehen vor ähnlichen Problemen, wenn ein Modell aus begrenzten oder verrauschten Beobachtungen erstellt werden muss.

Ich habe auch die frühen Kapitel des berühmten Buches Mustererkennung und maschinelles Lernen von Christopher M. Bishop gelesen. Mein Fazit ist, dass das Problem, das die Systemidentifikation zu lösen versucht, eine Teilmenge dessen ist, was das maschinelle Lernen zu lösen versucht.

Die Systemidentifikation ist die Wissenschaft der Konstruktion dynamischer Modelle aus beobachteten Daten. Es gibt zwei Hauptansätze: Vorhersagefehleridentifikation (PEI) und Subraumidentifikation (SID). Beide liefern ein sogenanntes parametrisches Modell, also ein Modell einer festen Struktur. In der Regel wählt der Benutzer die Struktur des zugrunde liegenden Systems (insbesondere bei den PEI-Methoden) oder zumindest die Reihenfolge des Systems (bei beiden Methoden). Auch wenn dies nicht erforderlich ist, wird ein System niedriger Ordnung gesucht (d. H. Die Anzahl der Basiskoeffizienten ist relativ gering), da es häufig zu Kontrollzwecken verwendet wird, und wir müssen es so einfach wie möglich halten, um dies zu vermeiden Rechenprobleme usw. Dieses Modell kann verwendet werden, um Vorhersagen über das zukünftige Verhalten des Systems bei bestimmten Eingaben zu treffen.

Andererseits hat maschinelles Lernen (ML) zwei Hauptzweige: Klassifizierungs- und Regressionsalgorithmen. Letztere werden auch zu Vorhersagezwecken verwendet. Zwei der bekanntesten Ansätze im maschinellen Lernen sind Support Vector Machines (SVM) und Gaußsche Prozesse (GP). Der Hauptunterschied zu den Systemidentifikationstechniken besteht darin, dass die ML-Techniken ein nicht parametrisches Modell liefern. Letzteres bedeutet, dass die Vorhersage für eine neue Eingabe in Abhängigkeit von den Datenpunkten erfolgt, die für das "Training" (Lernen, Identifizieren) des Modells verwendet werden. Wenn wir also N = 1000 Datenpunkte für das Training verwenden würden, würde die Vorhersage als Funktion dieser Datenpunkte ausgedrückt. ML-Methoden sind flexibler, da sie keine Strukturauswahl vom Benutzer erfordern, aber mit anderen Einschränkungen konfrontiert sind (z. B.

Bis vor kurzem entwickelten sich die ML- und die Systemidentifikationstechniken unabhängig voneinander. In den letzten Jahren wird jedoch große Anstrengung unternommen, um eine gemeinsame Grundlage zu schaffen (siehe z. B. das Papier "Vier Begegnungen mit Systemidentifikation" von Ljung).

Kontext: SysID und Kontrollperson, die in ML eingestiegen ist.

Ich denke, dass die Antwort von user110686 einige Unterschiede recht gut erklärt. Bei SysID geht es zwangsläufig um dynamische Modelle aus Eingabe- / Ausgabedaten, während ML eine größere Klasse von Problemen abdeckt. Aber der größte Unterschied, den ich sehe, hängt mit (a) Speicher (Anzahl der Parameter) zusammen; (b) Endanwendung des "erlernten" Modells. Die Systemidentifikation ist in hohem Maße ein Signalverarbeitungsansatz, der Frequenzdomänendarstellungen, Zeit-Frequenz-Analysen usw. berücksichtigt. Einige ML-Leute nennen dies "Feature Engineering".

(eine Erinnerung:SysID wurde bekannt, lange bevor ML als Forschungsgebiet Gestalt annahm. Daher waren Statistiken und Signalverarbeitung die Hauptgrundlage für die theoretischen Grundlagen, und die Berechnung war schwierig. Daher arbeiteten die Leute mit sehr einfachen Modellklassen (Bias-Varianz-Kompromiss) mit sehr wenigen Parametern. Wir sprechen von höchstens 30-40 Parametern und meist linearen Modellen, selbst wenn die Leute klar wissen, dass das Problem nicht linear ist. Allerdings ist die Berechnung jetzt sehr billig, aber SysID ist noch nicht aus seiner Hülle herausgekommen. Die Leute sollten sich darüber im Klaren sein, dass wir jetzt viel bessere Sensoren haben und mit sehr umfangreichen Modellsätzen problemlos Tausende von Parametern abschätzen können. Einige Forscher haben versucht, neuronale Netze für SysID zu verwenden, aber viele scheinen diese nicht als "Mainstream" zu akzeptieren, da es nicht viele theoretische Garantien gibt.

(b) Endanwendung des erlernten Modells: Nun ist eine Sache, dass SysID sehr korrekt ist, aber viele ML-Algorithmen nicht erfassen können. Es ist wichtig zu wissen, dass Sie für die Zielanwendungen unbedingt Modelle erstellen, die effektiv für die Online-Optimierung verwendet werden können.Diese Modelle werden verwendet, um alle getroffenen Steuerungsentscheidungen zu verbreiten, und wenn dies als optimales Steuerungsproblem eingerichtet wird, werden die Modelle zu Einschränkungen. Wenn Sie also eine extrem komplizierte Modellstruktur verwenden, wird die Online-Optimierung erheblich erschwert. Beachten Sie auch, dass diese Online-Entscheidungen in Sekunden oder weniger getroffen werden. Als Alternative wird vorgeschlagen, die Wertefunktion für eine optimale Steuerung außerhalb der Richtlinien direkt zu lernen. Dies ist im Grunde genommen ein verstärkendes Lernen, und ich denke, es gibt gute Synergien zwischen SysID und RL.

Ich möchte hinzufügen, dass es auch nicht-parametrische Ansätze zur Systemidentifikation gibt. Weitere Informationen finden Sie in der SysId-Toolbox von MATLAB oder in Ljungs Buch. Nichtparametrische Ansätze werden häufig verwendet, um zunächst die Modellklasse für spätere parametrische Studien zu identifizieren. Es ist auch wichtig, das Schätzproblem vom Steuerproblem zu trennen (denken Sie an die OODA-Schleife). Bei der Identifizierung eines Systems ist es häufig das Ziel, das System einfach ohne spezifische Steuereingaben des Typs zu charakterisieren, der später entworfen wird (dies ist jedoch nicht immer möglich). Schließlich halte ich es für hilfreich, zu erkennen, dass ein System aus mathematischer Sicht ein Operator ist, der einen Funktionsraum auf einen Funktionsraum abbildet. Daher sind Differentialgleichungen oft die Art von Dingen, die identifiziert werden, und diese Zuordnung funktioniert zu Funktionen. Die Funktionen in SysID sind oft kontinuierliche Funktionen der Zeit, auch als zeitkontinuierliche Signale bekannt. (Sie können aber auch zeitdiskret sein.) Daher versucht SysID nicht nur, reelle Zahlen (oder Vektoren) auf reelle Zahlen (oder Vektoren) abzubilden. Es wird versucht, den besten Operator (LTI, LTV, nichtlinear usw.) zu identifizieren, der Eingangssignale auf Ausgangssignale abbildet.

Maschinelles Lernen: Modellierung für statisches und dynamisches Modell, Systemidentifikation: Fokus auf dynamisches Modell oder dynamischen Prozess