Ansätze beim Lernen aus riesigen Datensätzen?

10

Grundsätzlich gibt es zwei gängige Methoden, um gegen große Datenmengen zu lernen (wenn Sie mit zeitlichen / räumlichen Einschränkungen konfrontiert sind):

Betrug :) - Verwenden Sie nur eine "überschaubare" Teilmenge für das Training. Der Genauigkeitsverlust kann aufgrund des Gesetzes zur Verringerung der Rendite vernachlässigbar sein - die Vorhersageleistung des Modells wird häufig lange bevor alle Trainingsdaten in das Modell aufgenommen werden, flacher.
Paralleles Rechnen - Teilen Sie das Problem in kleinere Teile auf und lösen Sie jedes auf einem separaten Computer / Prozessor. Sie benötigen zwar eine parallele Version des Algorithmus, aber eine gute Nachricht ist, dass viele gängige Algorithmen von Natur aus parallel sind: nächster Nachbar, Entscheidungsbäume usw.

Gibt es andere Methoden? Gibt es eine Faustregel, wann jeder verwendet werden soll? Was sind die Nachteile jedes Ansatzes?

— andreister
quelle

10

Stream Mining ist eine Antwort. Es heißt auch:

Data Stream Mining
Online lernen
Massives Online-Lernen

Anstatt den gesamten Datensatz zu speichern und daraus zu trainieren. Sie legen Teile davon in den Speicher und trainieren Klassifikatoren / Cluster aus diesen Strömen. Siehe folgende Links.
Data_stream_mining aus Wikipedia.
MOA: Massive Online-Analyse
- Artikel
- In Java geschriebenes Tool , das Weka-Algorithmen verwenden kann
- Buch
Mining of Massive Datasets Book , von der Stanford University. Es verwendet MapReduce als Werkzeug.
Videos in videolectures.net. Suche es ähnliche Videos gibt es auf dieser Seite.
- Stand der Technik im Data Stream Mining
- Massive Datensätze abbauen

— Atilla Ozgur
quelle

vereinbart, wäre die MOA-Toolbox ein guter Startpunkt

— tdc

7

Anstatt nur eine Teilmenge zu verwenden, können Sie wie beim Mini-Batch-Lernen mehrere Teilmengen verwenden (z. B. stochastischer Gradientenabstieg). Auf diese Weise würden Sie immer noch alle Ihre Daten nutzen.

— Lucas
quelle

Aha, das ist ein guter Punkt - ich habe die Frage geklärt. Ich interessiere mich für ein Szenario, in dem Sie mit zeitlichen / räumlichen Einschränkungen konfrontiert sind und sich Mini-Batch-Lernen nicht leisten können.

— andreister

1

Ensembles wie Absacken oder Mischen - es werden keine Daten verschwendet, das Problem wird automatisch trivial parallel und es kann zu erheblichen Genauigkeits- / Robustheitsgewinnen kommen.