Was sind gute Referenzen zum Verständnis des Online-Lernens?

10

Insbesondere bitte ich um Ressourcen, um mehr über maschinelle Lernsysteme zu erfahren, die ihre jeweiligen Glaubensnetzwerke (oder gleichwertige) während des Betriebs aktualisieren können. Ich bin sogar auf einige gestoßen, obwohl ich sie nicht mit einem Lesezeichen versehen konnte.

Wie Sie sich vorstellen können, ist es ein ziemlich herausforderndes Thema, im Internet zu suchen.

reference-request machine-learning lg.learning ai.artificial-intel online-learning jtolds
quelle
Wenn Benutzer gebeten werden, zu einer Liste von Antworten beizutragen, sollte die Frage als Community-Wiki gekennzeichnet sein . Ich habe diese Frage konvertiert.
Robert Cartaino

Antworten:

11

Die meisten Online-Lernalgorithmen stammen aus mindestens einer dieser Linien:

  • das Perzeptron

    Perzeptrone auf dem neuesten Stand der Technik sind der passiv-aggressive Algorithmus , das strukturierte Perzeptron und seine vielen Varianten.

  • Der Winnow

    Der Winnow wurde als potenzierte Gradientenmethode umformuliert und kann auch auf strukturierte Probleme angewendet werden . Es gibt auch Sorten wie SMIDAS , die sich direkt mit der L1-Regularisierung befassen (um Sparsamkeit zu gewährleisten) .

  • Stochastischer Gradientenabstieg

    Stochastischer Gradientenabstieg ist, wenn Sie die Online-Optimierung auf ein möglicherweise Batch-Problem anwenden. State-of-the-Art-Algorithmen sind Leon Bottous LaSVM , Pegasos , und viele neuronale Netzwerkalgorithmen können in dieser Einstellung leicht trainiert werden. Im theano-Tutorial finden Sie viele Beispiele. Vielleicht passt Online EM hierher.

  • Partikelfilterung

    Dies wird auch als rao-schwarzwellige Inferenz bezeichnet und ermöglicht es Ihnen, ein grafisches / probabilistisches Modell zu aktualisieren, sobald mehr Daten eintreffen. Einige gute Beispiele sind Online-Themenmodelle und das NIPS-Tutorial zu SMC .

Es gibt auch einige umfassendere Probleme beim Online-Lernen, wie die Konvertierung von Online in Batch , Budgettechniken für das Online-Lernen mit Kerneln (wie dieses Papier , dieses Papier und dieses Papier ), viele verschiedene Arten von Generalisierungsgrenzen, Sparsity-Bedenken (und auch das oben zitierte SMIDAS-Papier), Hashing , um Speicherplatz zu sparen, und viele andere Probleme.

Alexandre Passos
quelle
Sehr informative Antwort!
Tayfun Pay
4

Wenn Sie nach Informationen über die Theorie des Online-Lernens suchen, ist das Buch von Cesa-Bianchi und Lugosi eine solide Referenz.

Suresh Venkat
quelle
Ich werde mich darum kümmern, danke. Das war tatsächlich einer der beiden Vorschläge, die Wikipedia gemacht hat ( en.wikipedia.org/wiki/Online_machine_learning könnte Hilfe gebrauchen)
jtolds
Eine weitere nützliche Quelle ist John Langfords Reihe von Beiträgen: hunch.net/?cat=7
Suresh Venkat
4

Es gibt ein schönes Tutorial von ICML 2008 von Yoram Singer und Shai Shalev Shwartz über Theorie und Praxis des Online-Lernens.

Lev Reyzin
quelle
1

Maschinelles Lernen - Kursmaterialien - Stanford http://www.stanford.edu/class/cs229/materials.html

Videovorträge zu maschinellem Lernen und künstlicher Intelligenz http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html

Gaußsche Prozesse für maschinelles Lernen http://www.gaussianprocess.org/gpml/

Paulo Coghi - Monica wieder einsetzen
quelle
1
Hier geht es nicht speziell um Online-Lernen. Das Gaußsche Prozessbuch erwähnt kaum die Online-Annäherungen an Gaußsche Prozesse.
Alexandre Passos