Laden Sie Dateien und Ordner aus dem Google Storage-Bucket in einen lokalen Ordner herunter [geschlossen]

90

Wie können alle Dateien am besten aus Google Cloud Storage heruntergeladen werden?

google-cloud-storage

— Dilvane Zanardine
quelle

149

Schauen Sie sich das gsutil-Tool an . Sie können den Befehl cp mit den Optionen -R(rekursiv) und -m(Multithreading) verwenden.

gsutil -m cp -R gs://<bucket_name> .

Und wenn Sie es mit einem öffentlichen Eimer versuchen möchten, versuchen Sie es

gsutil -m cp -R gs://uspto-pair .

Die durch Multithreading gewährte Beschleunigung kann erheblich sein:

$ time gsutil cp -R gs://uspto-pair/docs/2010-08-28 .
...

real    0m12.534s

vs.

$ time gsutil -m cp -R gs://uspto-pair/docs/2010-08-28 .
...

real    0m3.345s

— Sebastian Kreft
quelle

Ich würde vorschlagen, den Uspto-Pair-Bucket nicht blind herunterzuladen - da sind ein paar Dokumente

— drin

1

Eine sehr wichtige Sache hier ist, gsutil auf Ihrem lokalen Computer zu installieren . Sie können dies beispielsweise tun, indem Sie das Google Cloud SDK installieren. Diesen Schritt habe ich vergessen und gsutil auf der lokalen VM meines Projekts wie ein Idiot verwendet.

— Matthias

Ist dieser Service kostenlos oder kostenpflichtig? Wie Operationen der Klasse A?

— Sudhanshu Gaur

2

Wenn Sie eine Reihe großer Dateien aus Ihrem Bucket auf eine herkömmliche Festplatte (nicht SSD) herunterladen, verwenden Sie das -mFlag nicht für Multithreading. Dadurch wird die Antwortzeit der Festplatte erheblich verkürzt, da die Nadeln kontinuierlich zwischen den verschiedenen Dateien verschoben werden. Ich habe zuerst versucht, es -mzu verwenden, nur um die Festplatte zum Engpass zu machen. Wenn Sie das -mFlag weglassen, bleibt die Festplatte am selben physischen Speicherort auf der Festplatte.

— JR

das ist toll! Danke

— kninjaboi

65

Für diejenigen, die die Installation lokaler Tools wie vermeiden möchten gsutil, gibt es eine Möglichkeit, Dateien und Ordner vollständig im Browser aus Google Cloud Storage herunterzuladen :

Navigieren Sie zu: https://console.cloud.google.com/storage/browser/BUCKET_NAME
Suchen Sie den Ordner / die Datei, die Sie herunterladen möchten.
Drücken Sie oben rechts auf der Seite auf das Codesymbol, um die Cloud-Shell zu öffnen.
Erstellen Sie einen temporären Ordner in der virtuellen Cloud Shell-Maschine: mkdir Data
Kopieren Sie die Cloud-Speicherdaten in den temporären DataOrdner:gsutil -m cp -R gs://BUCKET_NAME/FOLDER_OR_FILE_PATH ./Data
Kopieren Sie die Daten in eine Zip-Datei: zip -r Data.zip Data
Laden Sie die Zip-Datei herunter dl Data.zip, indem Sie Folgendes ausführen: Öffnen Sie die Dropdown-Liste "..." in der Symbolleiste, drücken Sie auf "Datei herunterladen" Data.zip, geben Sie ein und drücken Sie auf "Herunterladen".

Alternativ zu den Schritten 6 und 7 (oder wenn Sie eine TAR-Datei anstelle einer Zip-Datei möchten):

. . 6b. Drücken Sie auf das Computersymbol (oder den Bleistift) in der Symbolleiste, um den Cloud Shell Environment Explorer in einer neuen Registerkarte zu öffnen.
. . 7b. Klicken Sie mit der rechten Maustaste auf den DataOrdner im Verzeichnisbrowser links und klicken Sie auf "Download". Eine TAR-Datei wird auf Ihren lokalen Computer heruntergeladen, die Sie dann mit 7-Zip oder ähnlichem extrahieren können .

— Venryx
quelle

7

Dieser hat wie ein Zauber für mich gewirkt, OHNE ein bezahltes Paket!

— Nipunasudha

Gibt es eine Größenbeschränkung für den temporären Ordner? Auf meiner Seite hört es nach 54% auf zu kopieren. Ich versuche, 8,4 GB Bilder zu verschieben, um sie herunterzuladen.

— hardQuestions

1

@toughQuestions Ich weiß es nicht; Ich habe noch nie versucht, so viele Inhalte herunterzuladen. Unter der Annahme, dass dies der Fall ist (aufgrund Ihres Feedbacks), würde ich vorschlagen, das Programm gsutil einfach auf Ihrem lokalen Computer zu installieren und von dort aus auszuführen

— Venryx

Ich werde es ausprobieren, danke :-)

— hardQuestions

Es gibt ein Limit von 5 GB, daher ist es nur für kleinere Dinge nützlich. Coole Lösung.

— user32149

16

Im Fall gsutilwirft eine Ausnahme ( CommandException: Wrong number of arguments for "cp" command.) versuchen , die folgenden:

gsutil -m cp -R gs://BUCKETNAME ./LOCALFOLDERNAME

— Lausbert
quelle

Ist dieser Service kostenlos oder kostenpflichtig? Wie Operationen der Klasse A?

— Sudhanshu Gaur

2

In meinem Fall hat es funktioniert, zum Bucket in der Browser-Benutzeroberfläche zu navigieren und mit der linken Maustaste auf die Datei und "Datei speichern" zu klicken.
Dies ist natürlich für mehrere Dateien schrecklich, aber Sie können sie natürlich zu einer Datei komprimieren (mithilfe der Google Cloud-Konsole).

siehe diesen Thread.

Wenn Sie keinen Bucket haben, können Sie auch einen erstellen und ihn dann über die gcloud-Konsole hochladen, zgsutil cp file.tgz gs://<bucket>

— Matthias
quelle

2

Ich habe gerade festgestellt, warum Sebastians Antwort bei mir nicht funktioniert hat. Aus irgendeinem Grund war ich völlig blind für die Tatsache, dass ich das gsutil auf meinem lokalen Computer installieren musste . Habe es in der gcloud-Konsole im Browser verwendet und dort auf meine Projekt-VM heruntergeladen.

— Matthias

Die gcloud-Shell im Browser unterstützt das Herunterladen ihrer VM-Dateien auf Ihren lokalen Computer, sodass Sie sie nicht gsutilauf Ihrem lokalen Computer installieren müssen : stackoverflow.com/a/59567734/2441655

— Venryx

@ Dilvane irgendwie -m Option funktioniert nicht für mich ... aber -r macht wie unten ... bharathkumarraju @ R77-NB193 raju% gsutil cp -r gs: // testbucket. Kopieren von gs: //testbucket/asset-manifest.json ...

— BharathKumarRaju Dasararaju

2

Folgendes hat bei mir funktioniert:

Schritt 1: Installieren Sie gsutil auf Ihrem lokalen Computer: https://cloud.google.com/storage/docs/gsutil_install?hl=fr

Schritt 2: Kopieren Sie Dateien aus dem Bucket auf Ihren lokalen Computer, auf dem der Befehl ausgeführt wird:gsutil cp [-r if repository] gs://[BUCKET_NAME]/[OBJECT_NAME] [OBJECT_DESTINATION_IN_LOCAL]

— HLeb
quelle