Wie lade ich große Dateien über eine flockige Verbindung in S3 hoch?

9

Ich habe eine Reihe von Dateien (zwischen 500 MB und 7 GB), die ich in einen S3-Bucket hochladen muss. Meine Verbindung ist sehr schuppig.

Ich habe versucht, eine 500-MB-Datei über hochzuladen, s3cmdaber nach 91% (was 16 Stunden dauerte) ist die Zeit abgelaufen.

Das habe ich mit CyberDuck versucht, aber das gleiche ist passiert. Es schlug nach ungefähr 20% fehl und als ich versuchte, die Übertragung erneut zu versuchen, begann es von vorne. CyberDuck soll mehrteilige Unterstützung haben, aber ich denke nicht ...

Ich könnte die Dateien wie folgt in kleinere Dateien aufteilen : Wie teile ich eine ZIP-Datei in mehrere Segmente auf? , aber ich möchte lieber nicht, es sei denn, es war meine einzige Option. Was ist ein gutes Programm, mit dem ich große Dateien mit Unterstützung für Lebensläufe in S3 hochladen kann?

internet-connection upload amazon-s3

— user2254
quelle

6

Ich habe gerade versucht, s3tools (s3cmd-1.5.0-rc1) zu verwenden. Ich habe diesen Hinweis aus den FAQ http://s3tools.org/kb/item13.htm erhalten . Siehe unten.

Unterstützt s3cmd mehrteilige Uploads?

Ja, die neueste Version von s3cmd unterstützt mehrteilige Amazon S3-Uploads.

Mehrteilige Uploads werden automatisch verwendet, wenn eine hochzuladende Datei größer als 15 MB ist. In diesem Fall wird die Datei in mehrere Teile aufgeteilt, wobei jeder Teil 15 MB groß ist (der letzte Teil kann kleiner sein). Jedes Teil wird dann separat hochgeladen und am Zielort rekonstruiert, wenn die Übertragung abgeschlossen ist.

Wenn mit dieser neuen Funktion ein Upload eines Teils fehlschlägt, kann es neu gestartet werden, ohne dass sich dies auf andere bereits hochgeladene Teile auswirkt.

Es gibt zwei Optionen für mehrteilige Uploads in s3cmd. Sie sind:

--disable-multipart

Deaktivieren Sie mehrteilige Uploads für alle Dateien

und

--multipart-chunk-size-mb = GRÖSSE

Größe jedes Teils eines mehrteiligen Uploads. Dateien, die größer als SIZE sind, werden automatisch als Multithread-Multipart hochgeladen. Kleinere Dateien werden mit der herkömmlichen Methode hochgeladen. Die Größe ist in Mega-Bytes angegeben, die Standard-Blockgröße beträgt 15 MB, die minimal zulässige Blockgröße beträgt 5 MB, die maximale 5 GB.

Wenn ich hochlade, wähle ich die kleinste Blockgröße. Sie sollten unten sehen, wie der Upload aufgeteilt und fortgesetzt wird.

$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 1 of 52, 5MB]
 5242880 of 5242880   100% in  164s    31.08 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 2 of 52, 5MB]
 5242880 of 5242880   100% in  193s    26.46 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 3 of 52, 5MB]
 2023424 of 5242880    38% in  135s    14.59 kB/s^CERROR: 
some_video.mp4' part 3 failed. Use
  /usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
  /usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!

Dann fahre ich fort.

/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

— f01
quelle

2

Ich glaube an Cyberduck im Übertragungsfenster, Sie können mit der rechten Maustaste klicken und Lebenslauf auswählen.

Wenn dies nicht funktioniert, unterstützt Cloudberry die Wiederaufnahme des Uploads

— Ernie
quelle

Aus irgendeinem Grund funktioniert mein Lebenslauf in Cyberduck nicht für S3 mehrteilig. Irgendwelche Hinweise?

— f01

2

Mit FileZilla Pro können Sie Dateien zu und von einem S3-Bucket übertragen. FileZilla Pro unterstützt das mehrteilige Hochladen und setzt die Übertragung im Fehlerfall fort.

Für die Datensätze gibt es viele andere Funktionen: Unterstützung für große Dateien, Massenübertragungen, Filter, Verzeichnisvergleich, Remote-Dateisuche, Drag & Drop, Konfiguration von Geschwindigkeitsbegrenzungen.

Ich bin Mitglied des FileZilla Pro-Teams.

Weitere Informationen finden Sie unter https://filezillapro.com und unter https://youtube.com/c/FileZillaPro

— Josuegome
quelle

Bitte beachten Sie, dass Sie dies in Ihrer Antwort angeben müssen, wenn Sie in irgendeiner Weise mit dem Produkt verbunden sind.

— Konfetti

@confetti, sorry das wusste ich nicht. Ich konnte in der Hilfe oder im Verhaltenskodex nichts Bestimmtes finden. Ich nahm tatsächlich an, dass es verboten war. Die Informationen wurden hinzugefügt.

— Josuegomes

Kein Problem, ich kann es auch nicht im Hilfetext finden. Vielleicht sollten die Mods das hinzufügen, aber es ist definitiv erlaubt! Im Allgemeinen könnte es sogar besser sein, da die Leute wissen, dass sie in den Kommentaren etwas Software-spezifisches fragen und eine Art "offizielle" Antwort erhalten können. :)

— Konfetti