Was sind gute Referenzen zum Verständnis des Online-Lernens?


10

Insbesondere bitte ich um Ressourcen, um mehr über maschinelle Lernsysteme zu erfahren, die ihre jeweiligen Glaubensnetzwerke (oder gleichwertige) während des Betriebs aktualisieren können. Ich bin sogar auf einige gestoßen, obwohl ich sie nicht mit einem Lesezeichen versehen konnte.

Wie Sie sich vorstellen können, ist es ein ziemlich herausforderndes Thema, im Internet zu suchen.


Wenn Benutzer gebeten werden, zu einer Liste von Antworten beizutragen, sollte die Frage als Community-Wiki gekennzeichnet sein . Ich habe diese Frage konvertiert.
Robert Cartaino

Antworten:


11

Die meisten Online-Lernalgorithmen stammen aus mindestens einer dieser Linien:

  • das Perzeptron

    Perzeptrone auf dem neuesten Stand der Technik sind der passiv-aggressive Algorithmus , das strukturierte Perzeptron und seine vielen Varianten.

  • Der Winnow

    Der Winnow wurde als potenzierte Gradientenmethode umformuliert und kann auch auf strukturierte Probleme angewendet werden . Es gibt auch Sorten wie SMIDAS , die sich direkt mit der L1-Regularisierung befassen (um Sparsamkeit zu gewährleisten) .

  • Stochastischer Gradientenabstieg

    Stochastischer Gradientenabstieg ist, wenn Sie die Online-Optimierung auf ein möglicherweise Batch-Problem anwenden. State-of-the-Art-Algorithmen sind Leon Bottous LaSVM , Pegasos , und viele neuronale Netzwerkalgorithmen können in dieser Einstellung leicht trainiert werden. Im theano-Tutorial finden Sie viele Beispiele. Vielleicht passt Online EM hierher.

  • Partikelfilterung

    Dies wird auch als rao-schwarzwellige Inferenz bezeichnet und ermöglicht es Ihnen, ein grafisches / probabilistisches Modell zu aktualisieren, sobald mehr Daten eintreffen. Einige gute Beispiele sind Online-Themenmodelle und das NIPS-Tutorial zu SMC .

Es gibt auch einige umfassendere Probleme beim Online-Lernen, wie die Konvertierung von Online in Batch , Budgettechniken für das Online-Lernen mit Kerneln (wie dieses Papier , dieses Papier und dieses Papier ), viele verschiedene Arten von Generalisierungsgrenzen, Sparsity-Bedenken (und auch das oben zitierte SMIDAS-Papier), Hashing , um Speicherplatz zu sparen, und viele andere Probleme.


Sehr informative Antwort!
Tayfun Pay




1

Maschinelles Lernen - Kursmaterialien - Stanford http://www.stanford.edu/class/cs229/materials.html

Videovorträge zu maschinellem Lernen und künstlicher Intelligenz http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html

Gaußsche Prozesse für maschinelles Lernen http://www.gaussianprocess.org/gpml/


1
Hier geht es nicht speziell um Online-Lernen. Das Gaußsche Prozessbuch erwähnt kaum die Online-Annäherungen an Gaußsche Prozesse.
Alexandre Passos
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.