Modellauswahl beim Offline- oder Online-Lernen

Ich habe in letzter Zeit versucht, mehr über Online-Lernen zu lernen (es ist absolut faszinierend!), Und ein Thema, das ich nicht richtig verstehen konnte, ist, wie man über Modellauswahl in Offline- oder Online-Kontexten nachdenkt. Insbesondere nehmen wir trainieren ein Klassifikator offline, basierend auf einer festen Datensatz D . Wir schätzen seine Leistungsmerkmale beispielsweise durch Kreuzvalidierung und wählen auf diese Weise den besten Klassifikator aus.$S$$D$

Ich habe darüber nachgedacht: Wie gehen wir dann vor, um auf eine Online-Umgebung anzuwenden ? Können wir davon ausgehen, dass das beste offline gefundene S auch als Online-Klassifikator gut funktioniert? Ist es sinnvoll, einige Daten zu sammeln, um S zu trainieren , dann denselben Klassifikator S zu nehmen und ihn in einer Online-Einstellung mit denselben Parametern wie in D zu "operationalisieren" , oder könnte ein anderer Ansatz besser sein? Was sind die Vorbehalte in diesen Fällen? Was sind hier die wichtigsten Ergebnisse? Und so weiter.$S$$S$$S$$S$$D$

Wie auch immer, jetzt da draußen, ich denke, was ich suche, sind einige Referenzen oder Ressourcen, die mir (und hoffentlich anderen, die über diese Art von Dingen nachgedacht haben!) Helfen, den Übergang vom Denken nur in Offline-Begriffen zu schaffen, und Entwickeln Sie den mentalen Rahmen, um im Verlauf meiner Lektüre kohärenter über das Thema Modellauswahl und diese Fragen nachzudenken.

In einem Streaming-Kontext können Sie Ihre Daten natürlich nicht in Zug- und Testsätze aufteilen, um eine Kreuzvalidierung durchzuführen. Es klingt noch schlimmer, nur die Metriken zu verwenden, die für den ersten Zugsatz berechnet wurden, da Sie davon ausgehen, dass sich Ihre Daten ändern und sich Ihr Modell an die Änderungen anpasst. Deshalb verwenden Sie in erster Linie den Online-Lernmodus.

$k$$k+1$

Am Ende mitteln Sie irgendwie die Fehlermetriken (normalerweise auch arithmetisches Mittel, aber Sie könnten auch so etwas wie exponentielle Glättung verwenden), um die Gesamtgenauigkeitsschätzung zu erhalten.

In einem Online-Szenario würde dies bedeuten, dass Sie zu Zeitpunkt 1 beginnen und zu Zeitpunkt 2 testen, dann zu Zeitpunkt 2 erneut trainieren, um zu Zeitpunkt 3 zu testen usw.

Beachten Sie, dass Sie mit einer solchen Kreuzvalidierungsmethode die sich ändernde Leistung Ihrer Modelle berücksichtigen können. Da sich Ihr Modell an die Daten anpasst und sich die Daten möglicherweise ändern, müssten Sie die Fehlermetriken regelmäßig überwachen. Andernfalls würde es sich nicht wesentlich von der Verwendung von Zug- und Testsätzen mit fester Größe unterscheiden.