Skript zum Abrufen des HTTP-Statuscodes einer Liste von URLs?

Ich habe eine Liste von URLs, die ich überprüfen muss, um festzustellen, ob sie noch funktionieren oder nicht. Ich möchte ein Bash-Skript schreiben, das das für mich erledigt.

Ich benötige nur den zurückgegebenen HTTP-Statuscode, dh 200, 404, 500 usw. Nichts mehr.

BEARBEITEN Beachten Sie, dass ein Problem auftritt , wenn auf der Seite "404 nicht gefunden" angezeigt wird, aber die Meldung "200 OK" zurückgegeben wird. Es ist ein falsch konfigurierter Webserver, aber Sie müssen diesen Fall möglicherweise berücksichtigen.

Weitere Informationen hierzu finden Sie unter Überprüfen, ob eine URL zu einer Seite mit dem Text "404" führt.

Curl hat dafür eine spezielle Option --write-out:

$ curl -o /dev/null --silent --head --write-out '%{http_code}\n' <url>
200

• -o /dev/null wirft die übliche Ausgabe weg
• --silent wirft die Fortschrittsanzeige weg
• --head macht eine HEAD HTTP-Anfrage anstelle von GET
• --write-out '%{http_code}\n' druckt den erforderlichen Statuscode

So schließen Sie dies in ein vollständiges Bash-Skript ein:

#!/bin/bash
while read LINE; do
  curl -o /dev/null --silent --head --write-out "%{http_code} $LINE\n" "$LINE"
done < url-list.txt

(Leser mit Adleraugen werden feststellen, dass hierfür ein Curl-Prozess pro URL verwendet wird, was zu Gabelungs- und TCP-Verbindungsstrafen führt. Es wäre schneller, wenn mehrere URLs in einem einzigen Curl kombiniert würden, aber es gibt keinen Platz, um die monströse Wiederholung aufzuschreiben von Optionen, die Curl benötigt, um dies zu tun.)

wget --spider -S "http://url/to/be/checked" 2>&1 | grep "HTTP/" | awk '{print $2}'

druckt nur den Statuscode für Sie

Erweiterung der Antwort von Phil. Das Hinzufügen von Parallelität ist ein Kinderspiel, wenn Sie xargs für den Aufruf verwenden.

Hier der Code:

xargs -n1 -P 10 curl -o /dev/null --silent --head --write-out '%{url_effective}: %{http_code}\n' < url.lst

-n1 : Verwenden Sie nur einen Wert (aus der Liste) als Argument für den Curl-Aufruf

-P10 : Halten Sie jederzeit 10 Curl-Prozesse am Leben (dh 10 parallele Verbindungen)

Überprüfen Sie den write_outParameter im Handbuch von curl auf weitere Daten, die Sie damit extrahieren können (Zeiten usw.).

Falls es jemandem hilft, ist dies der Anruf, den ich gerade verwende:

xargs -n1 -P 10 curl -o /dev/null --silent --head --write-out '%{url_effective};%{http_code};%{time_total};%{time_namelookup};%{time_connect};%{size_download};%{speed_download}\n' < url.lst | tee results.csv

Es gibt nur eine Reihe von Daten in eine CSV-Datei aus, die in jedes Office-Tool importiert werden kann.

Dies beruht auf weit verbreiteten wget, fast überall vorhandenen, sogar auf Alpine Linux.

wget --server-response --spider --quiet "${url}" 2>&1 | awk 'NR==1{print $2}'

Die Erklärungen lauten wie folgt:

--quiet

Schalten Sie die Ausgabe von Wget aus.

Quelle - wget Manpages

--spider

[...] die Seiten werden nicht heruntergeladen, sondern nur überprüft, ob sie vorhanden sind. [...]

Quelle - wget Manpages

--server-response

Drucken Sie die von HTTP-Servern gesendeten Header und die von FTP-Servern gesendeten Antworten.

Quelle - wget Manpages

Was sie nicht sagen, --server-responseist, dass diese Header-Ausgaben auf Standardfehler (sterr) gedruckt werden , daher muss auf stdin umgeleitet werden .

Die Ausgabe, die an die Standardeingabe gesendet wird, kann weitergeleitet werden awk, um den HTTP-Statuscode zu extrahieren. Dieser Code lautet:

• die zweite ( $2) nicht leere Gruppe von Zeichen:{$2}
• in der allerersten Zeile der Kopfzeile: NR==1

Und weil wir es drucken möchten ... {print $2}.

wget --server-response --spider --quiet "${url}" 2>&1 | awk 'NR==1{print $2}'

Verwenden Sie curldiese Option, um nur den HTTP-Header (nicht die gesamte Datei) abzurufen und zu analysieren:

$ curl -I  --stderr /dev/null http://www.google.co.uk/index.html | head -1 | cut -d' ' -f2
200

wget -S -i *file* Sie erhalten die Header von jeder URL in einer Datei.

Filtern Sie jedoch grepspeziell nach dem Statuscode.

Ich habe ein in Python geschriebenes Tool "webchk" gefunden. Gibt einen Statuscode für eine Liste von URLs zurück. Https://pypi.org/project/webchk/

Die Ausgabe sieht folgendermaßen aus:

▶ webchk -i ./dxieu.txt | grep '200'
http://salesforce-case-status.dxi.eu/login ... 200 OK (0.108)
https://support.dxi.eu/hc/en-gb ... 200 OK (0.389)
https://support.dxi.eu/hc/en-gb ... 200 OK (0.401)

Hoffentlich hilft das!

Aufgrund von https://mywiki.wooledge.org/BashPitfalls#Non-atomic_writes_with_xargs_-P (Ausgabe von parallelen Jobs bei xargsgemischten Risiken) würde ich GNU Parallel verwenden, anstatt xargszu parallelisieren:

cat url.lst |
  parallel -P0 -q curl -o /dev/null --silent --head --write-out '%{url_effective}: %{http_code}\n' > outfile

In diesem speziellen Fall kann die Verwendung sicher sein, xargsda die Ausgabe so kurz ist. Das Problem bei der Verwendung xargsbesteht daher eher darin, dass sie später nicht mehr sicher ist, wenn jemand später den Code ändert, um etwas Größeres zu tun. Oder wenn jemand diese Frage liest und glaubt, sie durch curletwas anderes ersetzen zu können, ist dies möglicherweise auch nicht sicher.