Was sind gute Referenzen zum Verständnis des Online-Lernens?

Insbesondere bitte ich um Ressourcen, um mehr über maschinelle Lernsysteme zu erfahren, die ihre jeweiligen Glaubensnetzwerke (oder gleichwertige) während des Betriebs aktualisieren können. Ich bin sogar auf einige gestoßen, obwohl ich sie nicht mit einem Lesezeichen versehen konnte.

Wie Sie sich vorstellen können, ist es ein ziemlich herausforderndes Thema, im Internet zu suchen.

Die meisten Online-Lernalgorithmen stammen aus mindestens einer dieser Linien:

• das Perzeptron

  Perzeptrone auf dem neuesten Stand der Technik sind der passiv-aggressive Algorithmus , das strukturierte Perzeptron und seine vielen Varianten.

• Der Winnow

  Der Winnow wurde als potenzierte Gradientenmethode umformuliert und kann auch auf strukturierte Probleme angewendet werden . Es gibt auch Sorten wie SMIDAS , die sich direkt mit der L1-Regularisierung befassen (um Sparsamkeit zu gewährleisten) .

• Stochastischer Gradientenabstieg

  Stochastischer Gradientenabstieg ist, wenn Sie die Online-Optimierung auf ein möglicherweise Batch-Problem anwenden. State-of-the-Art-Algorithmen sind Leon Bottous LaSVM , Pegasos , und viele neuronale Netzwerkalgorithmen können in dieser Einstellung leicht trainiert werden. Im theano-Tutorial finden Sie viele Beispiele. Vielleicht passt Online EM hierher.

• Partikelfilterung

  Dies wird auch als rao-schwarzwellige Inferenz bezeichnet und ermöglicht es Ihnen, ein grafisches / probabilistisches Modell zu aktualisieren, sobald mehr Daten eintreffen. Einige gute Beispiele sind Online-Themenmodelle und das NIPS-Tutorial zu SMC .

Es gibt auch einige umfassendere Probleme beim Online-Lernen, wie die Konvertierung von Online in Batch , Budgettechniken für das Online-Lernen mit Kerneln (wie dieses Papier , dieses Papier und dieses Papier ), viele verschiedene Arten von Generalisierungsgrenzen, Sparsity-Bedenken (und auch das oben zitierte SMIDAS-Papier), Hashing , um Speicherplatz zu sparen, und viele andere Probleme.

Avrim Blum als großartiges Umfragepapier, das ich empfehlen würde, beginnend mit: "Online-Algorithmen im maschinellen Lernen" http://www.cs.cmu.edu/~avrim/Papers/survey.ps

Wenn Sie nach Informationen über die Theorie des Online-Lernens suchen, ist das Buch von Cesa-Bianchi und Lugosi eine solide Referenz.

Es gibt ein schönes Tutorial von ICML 2008 von Yoram Singer und Shai Shalev Shwartz über Theorie und Praxis des Online-Lernens.

Maschinelles Lernen - Kursmaterialien - Stanford http://www.stanford.edu/class/cs229/materials.html

Videovorträge zu maschinellem Lernen und künstlicher Intelligenz http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html

Gaußsche Prozesse für maschinelles Lernen http://www.gaussianprocess.org/gpml/