Wie man aus einem hohen IO-Datensatz in Pytorch liest, der von Epoche zu Epoche wächst

Ich verwende Tensorflow, schreibe jedoch eine Dokumentation für Benutzer, die in der Regel je nach Deep-Learning-Framework variiert .

Wenn ich mit Datensätzen arbeite, die nicht in das lokale Dateisystem (TB +) passen, probiere ich Daten aus einem entfernten Datenspeicher und schreibe Proben lokal in ein Tensorflow-Standardformat tfrecords.

Während der ersten Trainingsepoche habe ich nur einige Werte abgetastet, daher ist eine Epoche lokaler Daten sehr klein, ich trainiere darauf. In Epoche 2 überprüfe ich erneut, welche Datendateien von meinen Stichproben-Teilprozessen erzeugt wurden (jetzt mehr), und trainiere den erweiterten Satz lokaler Datendateien für die nächste Epoche. Wiederholen Sie den Vorgang in jeder Epoche. Auf diese Weise baue ich einen lokalen Cache mit Samples auf und kann ältere Samples entfernen, wenn ich den lokalen Speicher auffülle. Der lokale Stichproben-Cache wächst ungefähr zu dem Zeitpunkt, an dem das Modell die Varianz am meisten benötigt (in Richtung des letzten Teils des Trainings).

In Python / Tensorflow ist es entscheidend, dass ich die Daten im Python-Trainingsschleifenprozess nicht deserialisiere, da die Python-GIL die Datenübertragungsraten (300-600 MB / s, die Daten sind wissenschaftlich unkomprimierbar) und damit die GPU-Leistung nicht unterstützen kann leidet, wenn die Python GIL die Trainingsschleife nicht schnell bedienen kann.

Durch das Schreiben der Samples in eine tfrecordsDatei aus Unterprozessen (Python-Multiprocessing) kann der native Tensorflow eine TFRecordsDatasetDeserialisierung außerhalb von Python durchführen. Daher umgehen wir die Python-GIL-Probleme und können eine GPU mit hohen E / A-Datenraten sättigen.

Ich würde gerne wissen, wie ich dieses Problem in Pytorch angehen würde. Ich schreibe über die verwendete Stichprobenstrategie und möchte Benutzern von Tensorflow und PyTorch spezifische Empfehlungen geben, aber ich kenne das PyTorch-Vorverarbeitungs-Ökosystem nicht gut genug, um mit ausreichenden Details zu schreiben.

Randnotiz: Die einzige rein Python-basierte Lösung zur Unterstützung dieser Datenübertragungsraten ist möglicherweise Python 3.8 mit gemeinsam genutztem System V-Speicher und Multiprocessing. Ich habe dies jedoch noch nicht versucht, da die Unterstützung dafür nicht ausreicht (bald wird es so sein) ). Bestehende Multiprozessor-Lösungen reichen nicht aus, da sie eine Deserialisierung im Trainingsschleifenprozess erfordern und somit die GIL während der Deserialisierung mit hohen E / A-Raten sperren.

Tatsächlich können Sie Daten in einem Unterprozess mithilfe von einfach deserialisieren torch.utils.data.DataLoader. Wenn Sie das num_workersArgument auf 1 oder einen höheren Wert setzen, können Sie Unterprozesse mit ihren eigenen Python-Interpreten und GILs erzeugen.

loader = torch.utils.data.DataLoader(your_dataset, num_workers=n, **kwargs)
for epoch in range(epochs):
    for batch_idx, data in enumerate(loader):
         # loader in the main process does not claim GIL at this point

A Dataloaderbenötigt a torch.utils.data.Dataset, um Daten von zu erhalten. Es ist möglicherweise keine triviale Aufgabe, in Ihrem Fall eine geeignete Unterklasse zu implementieren. Falls Sie Datasetfür jede Epoche eine Instanz neu erstellen müssen , können Sie so etwas tun.

for epcoh in range(epochs):
    dset = get_new_dataset()
    loader = torch.utils.data.DataLoader(dset, num_workers=n, **kwargs)
    for batch_idx, data in enumerate(loader):
        # Do training

oder noch besser

dset = get_new_dataset()
loader = torch.utils.data.DataLoader(dset, num_workers=n, **kwargs)

for epcoh in range(epochs):
    last_batch_idx =  (len(dset)-1) // loader.batch_size
    for batch_idx, data in enumerate(loader):
        # Prepare next loader in advance to avoid blocking
        if batch_idx == last_batch_idx:
            dset = get_new_dataset()
            loader = torch.utils.data.DataLoader(dset, num_workers=n, **kwargs)
        # Do training

Als Randnotiz beachten Sie bitte, dass es sich in den meisten Fällen um einen CPU-gebundenen Betrieb handelt, der von GIL betroffen ist, und nicht um einen E / A-gebundenen Betrieb, dh threadingfür einen rein E / A-schweren Betrieb, den Sie nicht einmal benötigen subprocess. Weitere Informationen finden Sie in dieser Frage und in diesem Wikipedia- Artikel .