warum sollte sich eine 403 kräuseln und wget dazu führen, dass sie verboten ist?

Ich versuche, eine Datei mit wgetund herunterzuladen curlund sie wird mit einem 403-Fehler abgelehnt (verboten).

Ich kann die Datei mit dem Webbrowser auf demselben Computer anzeigen.

Ich versuche es erneut mit dem User Agent meines Browsers, der von http://www.whatsmyuseragent.com bezogen wird . Ich mache das:

wget -U 'Mozilla/5.0 (X11; Linux x86_64; rv:30.0) Gecko/20100101 Firefox/30.0' http://...

und

curl -A 'Mozilla/5.0 (X11; Linux x86_64; rv:30.0) Gecko/20100101 Firefox/30.0' http://...

aber es ist immer noch verboten. Welche anderen Gründe könnte es für den 403 geben, und wie kann ich die Befehle wgetund ändern curl, um sie zu überwinden?

(Hier geht es nicht darum, die Datei abrufen zu können. Ich weiß, dass ich sie einfach in meinem Browser speichern kann. Es geht darum, zu verstehen, warum die Befehlszeilentools anders funktionieren.)

aktualisieren

Vielen Dank an alle hervorragenden Antworten auf diese Frage. Das spezifische Problem, auf das ich gestoßen war, war, dass der Server den Referrer überprüfte. Indem ich dies zur Kommandozeile hinzufüge, könnte ich die Datei mit curlund erhalten wget.

Der Server, der den Referrer überprüft hat, ist über einen 302 an einen anderen Standort gestoßen, an dem überhaupt keine Überprüfungen durchgeführt wurden, sodass ein curloder wgetdieser Standort ordnungsgemäß funktioniert hat.

Wenn jemand interessiert ist, ist dies darauf zurückzuführen, dass ich diese Seite gelesen habe, um etwas über eingebettetes CSS zu erfahren, und versucht habe, das CSS der Site als Beispiel zu betrachten. Die eigentliche URL, mit der ich Probleme hatte, war diese und die curl, mit der ich gelandet bin, ist

curl -L -H 'Referer: http://css-tricks.com/forums/topic/font-face-in-base64-is-cross-browser-compatible/' http://cloud.typography.com/610186/691184/css/fonts.css

und der wget ist

 wget --referer='http://css-tricks.com/forums/topic/font-face-in-base64-is-cross-browser-compatible/' http://cloud.typography.com/610186/691184/css/fonts.css

Sehr interessant.

Eine HTTP-Anfrage kann mehrere Header enthalten, die nicht durch curl oder wget festgelegt wurden. Zum Beispiel:

• Cookie: Dies ist der wahrscheinlichste Grund, warum eine Anfrage abgelehnt wird. Ich habe gesehen, dass dies auf Download-Sites passiert. Wenn Sie ein Cookie erhalten haben key=val, können Sie es mit der Option -b key=val(oder --cookie key=val) für festlegen curl.
• Referer (sic): Wenn Sie auf einen Link auf einer Webseite klicken, tendieren die meisten Browser dazu, die aktuelle Seite als Referrer zu versenden. Man sollte sich nicht darauf verlassen, aber selbst eBay konnte ein Passwort nicht zurücksetzen, wenn dieser Header nicht vorhanden war. Also ja, es kann passieren. Die curlOption hierfür ist -e URLund --referer URL.
• Autorisierung: Aufgrund der unkontrollierbaren Benutzeroberfläche des Dialogfelds "Benutzername / Kennwort" wird dies immer weniger beliebt, ist jedoch weiterhin möglich. Dies kann curlmit der Option -u user:password(oder --user user:password) eingestellt werden.
• User-Agent: Bei einigen Anforderungen werden je nach User-Agent unterschiedliche Antworten ausgegeben. Dies kann auf eine gute Art und Weise (Bereitstellung des tatsächlichen Downloads anstelle einer Liste von Spiegeln) oder auf eine schlechte Art und Weise (Zurückweisen von Benutzeragenten, die nicht mit Mozillaoder beginnen Wgetoder oder enthalten curl) verwendet werden.

Normalerweise können Sie die Entwicklertools Ihres Browsers verwenden (Firefox und Chrome unterstützen dies), um die von Ihrem Browser gesendeten Header zu lesen. Wenn die Verbindung nicht verschlüsselt ist (dh kein HTTPS verwendet), können Sie zu diesem Zweck auch einen Paketsniffer wie Wireshark verwenden.

Neben diesen Kopfzeilen können Websites auch Aktionen hinter den Kulissen auslösen, die den Status ändern. Wenn Sie beispielsweise eine Seite öffnen, wird möglicherweise eine Anforderung im Hintergrund ausgeführt, um den Download-Link vorzubereiten. Oder eine Weiterleitung findet auf der Seite statt. Bei diesen Aktionen wird in der Regel Javascript verwendet, es kann jedoch auch einen verborgenen Rahmen geben, um diese Aktionen zu vereinfachen.

Wenn Sie nach einer Methode suchen , um auf einfache Weise Dateien von einer Download - Site zu holen, hat einen Blick auf plowdown, mit inbegriffen plowshare .

Fügen Sie zu den obigen Antworten hinzu, dass Sie die Funktion "Als cURL kopieren" in den Chrome-Entwicklertools (seit v26.0) und in Firebug (seit v1.12 ) verwenden können. Sie können auf diese Funktion zugreifen, indem Sie auf der Registerkarte Netzwerk mit der rechten Maustaste auf die Anforderungszeile klicken.

Versuchte das alles aber kein Glück; Ich habe das Dev-Browser-Tool verwendet, um die User-Agent-Zeichenfolge abzurufen, nachdem ich Folgendes hinzugefügt habe:

--user-agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"

Je nachdem, wonach Sie fragen, kann es sich um ein Cookie handeln. Mit Firefox können Sie mit der rechten Maustaste auf die betreffende Seite "Seiteninformationen anzeigen" klicken. Wählen Sie das Symbol "Sicherheit" und klicken Sie auf die Schaltfläche "Cookies anzeigen".

Zum Verwirren von Cookies ist das Firefox-Plug-In "Live HTTP Headers" erforderlich. Sie können sehen, welche Cookies gesetzt und welche Cookies an den Webserver zurückgesendet werden.

wgetkann mit Cookies arbeiten, ist aber total ärgerlich, da es keinen Hinweis darauf gibt, dass keine Cookies gesendet wurden. Am besten entfernen Sie alle zugehörigen Cookies aus Ihrem Browser und durchlaufen die anfängliche Anmeldung oder die Reihenfolge der Seitenanzeige. Unter "Live-HTTP-Header" finden Sie Informationen zu Cookies und zu POST- oder GET-Parametern. wgetFühren Sie den ersten Anmeldeschritt mit den Optionen "--keep-session-cookies" und "--save-cookies" aus. Dadurch erhalten Sie eine Cookie-Datei, die Sie mit einem Texteditor anzeigen können. Verwenden Sie wget --load-cookiesmit der Cookie - Datei für die nächsten Schritte.

Ein weiterer Grund dafür kann sein, dass für die Site SSL erforderlich ist. Ihr Browser leitet automatisch von HTTP zu HTTPS weiter, Curl und Wget jedoch nicht. Versuchen Sie also die Anfrage mit HTTPS anstelle von HTTP.