Ich habe in letzter Zeit mit großen Datenmengen gearbeitet und viele Artikel über Streaming-Methoden gefunden. Um ein paar zu nennen:
- Follow-the-Regularized-Leader und Mirror-Descent: Äquivalenzsätze und L1-Regularisierung ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf )
- Gestreamtes Lernen: SVMs mit einem Durchgang ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf )
- Pegasos: Primal Estimated sub-GrAdient SOlver für SVM http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf
- oder hier: Kann SVM das Lernen eines Beispiels nach dem anderen streamen?
- Zufällige Wälder streamen ( http://research.cs.queensu.ca/home/cords2/ideas07.pdf )
Ich konnte jedoch keine Dokumentation finden, wie sie miteinander verglichen werden. Jeder Artikel, den ich lese, scheint Experimente mit verschiedenen Datensätzen durchzuführen.
Ich weiß über Sofia-ml, Vowpal Wabbit Bescheid, aber sie scheinen sehr wenige Methoden zu implementieren, verglichen mit der riesigen Menge an existierenden Methoden!
Sind die weniger verbreiteten Algorithmen nicht performant genug? Gibt es ein Papier, in dem versucht wird, so viele Methoden wie möglich zu überprüfen?
7
Wenn nicht, sollten Sie es selbst schreiben :)
—
Chris C
Sie verstehen, dass Akademiker neue Algorithmen entwickeln müssen und nach den Datensätzen suchen, für die ihr Algorithmus die beste Leistung erbringt. Ich würde empfehlen, dass Sie nur sicherstellen, dass Sie verstehen, wie eine Bibliothek wie Vowpal-Wabbit ausgeführt wird (dh alle Parameter usw.).
—
Seanv507
Das ist eigentlich das Gegenteil! Ich habe verstanden, dass die Leute den besten Datensatz ausgewählt haben und im Allgemeinen relativ leise darüber sind, wie sie die Algorithmen (sowohl ihre als auch die konkurrierenden Methoden) gegenseitig validieren. Ich suche eher eine Streaming-Version von jmlr.org/papers/volume15/delgado14a/delgado14a.pdf
—
RUser4512
Wirklich wie das JMLR-Papier, das Sie verlinkt haben. Ich selbst kenne also keinen ähnlichen Vergleich für Streaming-Algorithmen. Wahrscheinlich, weil Streaming eine größere Nische darstellt und weil es zwar schwierig ist, Klassifikatoren für statische Datensätze zu vergleichen, es jedoch noch schwieriger ist, einen fairen Vergleich für Streaming-Daten vorzunehmen.
—
stats0007
Obwohl diese Ihre Frage nicht speziell beantworten, sind zwei verwandte Ressourcen: Evaluierung von Algorithmen, die aus Datenströmen lernen von Gama et al., In denen Evaluierungstechniken erörtert werden, und MOA (Massive Online Analysis) , ein Open Source-Framework für Data Stream Mining, das Datenströme enthält die Fähigkeit, die Leistung zu bewerten.
—
user77876