Hochladen des Bilderordners von meinem System in Google Colab

Ich möchte ein Deep-Learning-Modell auf einem Datensatz trainieren, der ungefähr 3000 Bilder enthält. Da der Datensatz sehr groß ist, möchte ich Google Colab verwenden, da es von der GPU unterstützt wird. Wie lade ich diesen vollständigen Bildordner in mein Notizbuch hoch und verwende ihn?

Methode 1 :

1. Zip die Datei
2. Laden Sie die komprimierte Datei hoch. Im Abschnitt "Dateien" befindet sich eine Schaltfläche zum Hochladen.
3. Entpacken Sie es mit dem Befehl in colab :! Unzip level_1_test.zip

Methode 2:

1. Laden Sie die Zip-Datei in das Google Drive-Konto hoch.
2. Der einzige Unterschied besteht in Schritt 2, in dem Sie anstelle der GUI-Upload-Option die google code_snippets ausführen können, um Ihre Zip-Datei vom Google-Laufwerk in das Colab-Konto hochzuladen.
3. Entpacken Sie es mit dem Befehl in colab :! Unzip level_1_test.zip

Am besten laden Sie die Bilder als Zip-Datei auf Ihr Google-Laufwerk hoch und greifen dann über Google Colab (GC) darauf zu.

1. Zippen Sie den Bildordner
2. Laden Sie die Zip-Datei auf Ihr Google-Laufwerk hoch

3. Wenden Sie sich an GC, um Ihr Google-Laufwerk zu autorisieren und bereitzustellen

   from google.colab import drive
   drive.mount('/content/drive')
   

4. Folgen Sie dem Link und fügen Sie den Code in Ihr GC-Notizbuch ein

5. Entpacken Sie die Datei aus GC

   !unzip -uq "/content/drive/My Drive/PATH_TO_ZIP" -d "/content/drive/My Drive/PATH_TO_OUTPUT"
   

6. Die Dateien sind jetzt einsatzbereit

Sie müssen sie nicht hochladen, wenn Sie einen Download-Link haben ... (es wäre schneller, wenn Sie sie alle so oder so hochladen könnten. Es ist also besser, sie zuerst hochzuladen und dann herunterzuladen Ihr Notebook jedes Mal, wenn Sie es ausführen)

Wenn Sie einen Download-Link haben, dann genau diesen

! wget <Link>

Andernfalls laden Sie dann auf Ihr Laufwerk hoch und verwenden Sie dann einfach Folgendes

from google.colab import files

uploaded = files.upload()

##files.upload returns a dictionary of the files which were uploaded. The 
##dictionary is keyed by the file name, the value is the data which was 
##uploaded.

for fn in uploaded.keys():
  print('User uploaded file "{name}" with length {length} bytes'.format(
      name=fn, length=len(uploaded[fn]))

Ich empfehle Ihnen, eine Zip-Datei mit Ihren Bildern auf Ihr Laufwerk hochzuladen und den Inhalt vom Laufwerk auf Colab herunterzuladen. Dann können Sie sie extrahieren. Der Code zum Hochladen ist hier .

Sie können Inhalte auf Google Drive hochladen und von dort auf Colab herunterladen. Ich habe einige Utensilien dafür geschrieben - siehe dieses Notizbuch .

Der Vorschlag von Media zum Hochladen von Dateien auf Google Drive ist hilfreich: Laden Sie einen komprimierten Bildordner hoch.