Unix & Linux wget

2

Warum ist mein wget nach ssh-Verbindungsverlust nicht gestorben?

Ich ging sshzu meinem Server und lief wget -r -np zzz.aaa/bbb/cccund es fing an zu arbeiten. Dann meine Internetverbindung (bei mir zu Hause) bekam unterbrochen und ich habe gesorgt davon aus, dass wgetwurde hupped , weil die sshVerbindung unterbrochen wurde und deshalb hatte das Terminal gestorben. Aber dann habe ich …

13 ssh terminal wget signals

2

Paralleles Ausführen von Tausenden von Curl-Hintergrundprozessen im Bash-Skript

Ich führe im folgenden Bash-Skript Tausende von Curl- Hintergrundprozessen parallel aus START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done Ich habe 49 GB Corei7-920 dedizierten Server (nicht virtuell). Ich verfolge Speicherverbrauch und CPU …

13 linux performance bash curl wget

2

"Andere" Domains beim Download mit wget ignorieren?

Ich möchte Links unter www.website.com/XYZ crawlen und nur die Links unter www.website.com/ABC herunterladen. Ich benutze den folgenden Befehl wget, um die gewünschten Dateien zu erhalten: wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ Dies funktioniert einwandfrei, wenn ich wget 1.13.4 verwende. Das Problem ist jedoch, dass ich diesen Befehl …

13 command-line wget

4

Wie kann ich die heruntergeladene Dateigröße in wget begrenzen?

Ich möchte wget(von einem PHP-Skript) zum Herunterladen von Bilddateien verwenden, möchte jedoch keine Dateien über eine bestimmte Größe herunterladen. Kann ich die Dateigröße mit einschränken wget? Wenn nicht, was ist ein besserer Weg?

13 files wget size

2

Gibt es eine Befehlszeilenmethode, mit der ich überprüfen kann, ob eine heruntergeladene Datei vollständig oder fehlerhaft ist?

Ich schreibe ein Skript zum Herunterladen und Bearbeiten einer Datei und möchte sicherstellen, dass die Datei nicht unvollständig ist (z. B. aufgrund einer unterbrochenen Verbindung), bevor ich daran arbeite.

13 files wget curl download corruption

2

Möchten Sie Binärdateien anstelle von HTML zurückgeben?

Ich verwende wget, um eine statische HTML-Seite herunterzuladen. Der W3C Validator teilt mir mit, dass die Seite in UTF-8 codiert ist. Doch wenn ich die Datei nach dem Download kate, bekomme ich eine Menge binären Blödsinn. Ich bin auf Ubuntu und dachte, die Standardkodierung wäre UTF-8? Das scheint meine Gebietsschemadatei …

12 wget character-encoding gzip http

2

Wget: Links konvertieren und das erneute Herunterladen von bereits abgerufenen Dateien vermeiden?

Ich lade Daten herunter, die auf mehrere Dateien verteilt sind, die sich nach der Veröffentlichung nicht ändern. Daher --timestampingist es nicht gut genug, weil ständig überprüft wird, welche Ressource geändert wird, was in meinem Fall völlig sinnlos ist. --no-clobberwürde perfekt passen. Leider funktioniert es --convert-links aus irgendeinem Grund nicht. Sowohl …

12 wget download

5

Schreiben Sie die Ausgabe von wget oder curl in einen benutzerdefinierten Dateinamen, der auf der URL basiert

Zum Beispiel habe ich einen Link http://www.abc.com/123/def/ghi/jkl.mno. Ich möchte es mit wgetoder herunterladen curlund bekomme den Namen der Ausgabedatei als def_ghi_jkl.mno, wo das Teil def_ghiaus dem Link genommen wird. Ich werde diesen wgetBefehl in ein Skript einfügen, um mehrere Dateien herunterzuladen, sodass der Ausgabedateiname nicht explizit angegeben werden kann.

12 filenames wget curl

2

Alternativen zu wget

Ich habe eine Site auf einem Server, die im Grunde genommen aus einer Reihe von HTML-Seiten, Bildern und Sounds besteht. Ich habe mein Passwort für diesen Server verloren und muss alles abrufen, was dort gespeichert ist. Ich kann Seite für Seite gehen und alles speichern, aber die Site hat mehr …

12 wget

3

Einhängen der Dropbox (zum Durchsuchen der Dateien)

Ich möchte einfach in der Lage sein, ein Dropbox-Dateisystem zu erkunden, ohne viel zusätzliche Belastung für CPU, Speicher und Speicher (dh ohne Kopien der Remote-Dateien lokal zu speichern). Es scheint, dass der offizielle Client viel Ressourcen verbraucht (und unnötige Vorgänge wie das Synchronisieren ausführen würde) - http://www.lowendtalk.com/discussion/3179/dropbox-memory-usage-on-linux . Kann man …

12 wget fuse dropbox hosting-services protocols

5

Wie stoppen Sie 'wget', nachdem es einen 404 bekommen hat?

Wenn Sie die Klammererweiterung mit verwenden wget, können Sie problemlos fortlaufend nummerierte Bilder abrufen: $ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' Es holt die ersten 10 Dateien nummerierten , 90.jpgum 99.jpgganz gut, aber 100.jpgund weiter gibt einen 404: Datei nicht gefunden Fehler (ich habe nur 100 Bilder auf dem Server gespeichert ist ). Diese …

12 bash shell-script wget

2

Was ist der "Artikel von 2001" zum Blockieren von "automatisierten Abrufprogrammen", auf den in der Manpage wget verwiesen wird?

Die wgetManpage gibt dies unter dem Abschnitt für den --random-waitParameter an: Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development on a popular consumer …

11 wget man documentation

1

Wget, brechen Sie den erneuten Versuch nach einem Fehler oder einer Zeitüberschreitung ab

Ich rufe eine URL mit wget an: /usr/bin/wget --read-timeout=7200 https://site_url/s Wget führt in diesem Fall alle 15 Minuten eine GET-Anforderung durch, obwohl das Zeitlimit festgelegt ist. Warum geschieht dies? Der Anruf sollte nur einmal getätigt werden. Wie kann ich wget auf NOT Retry setzen? Ich weiß, dass Sie setzen können, …

11 linux rhel wget

3

Wie verwende ich wget zum Herunterladen von Hosting-Sites?

wget ist ein sehr nützliches Tool zum schnellen Herunterladen von Inhalten im Internet. Kann ich es jedoch zum Herunterladen von Hosting-Sites wie FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare verwenden? Wenn ja, wie kann ich das machen?

11 wget download hosting-services

1

Wie kann man fehlende "zuletzt geänderte" Header umgehen?

Ich laufe wgetso: wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main Ich bekomme eine Reihe dieser Nachrichten: Last-modified header missing -- time-stamps turned off. Ich nehme an, das bedeutet, dass Seiten immer wieder heruntergeladen werden, obwohl ich sie lokal habe. HINWEIS : Ich möchte dies, damit ich vorhandene Dateien nicht …

11 wget web

Als «wget» getaggte Fragen