Ich muss die endgültige URL nach einer Seitenumleitung erhalten, vorzugsweise mit Curl oder Wget.
Beispielsweise kann http://google.com zu http://www.google.com umleiten .
Der Inhalt ist leicht zu bekommen (zB curl --max-redirs 10 http://google.com -L), aber ich interessiere mich nur für die endgültige URL (im ersteren Fall http://www.google.com ).
Gibt es eine Möglichkeit, dies nur mit integrierten Linux-Tools zu tun? (nur Befehlszeile)
Antworten:
curlDie -wOption und die Untervariable sind genau url_effectivedas, wonach Sie suchen.
Etwas wie
curl -Ls -o /dev/null -w %{url_effective} http://google.comMehr Info
-L Weiterleitungen folgen -s Silent-Modus. Gib nichts aus -o DATEI Schreibe die Ausgabe in <Datei> anstelle von stdout -w FORMAT Was soll nach Abschluss ausgegeben werden?
Mehr
Möglicherweise möchten Sie auch hinzufügen -I(das ist ein Großbuchstabe i), wodurch der Befehl keinen "Körper" herunterlädt, sondern dann auch die HEAD-Methode verwendet, die nicht in der Frage enthalten ist, und das Risiko besteht, dass sich die Funktionsweise des Servers ändert. Manchmal reagieren Server nicht gut auf HEAD, selbst wenn sie gut auf GET reagieren.
:-)
-Isonst wird die Datei tatsächlich heruntergeladen.
curl -A ..., um zum erwarteten Speicherort umzuleiten.
Danke, das hat mir geholfen. Ich habe einige Verbesserungen vorgenommen und diese in ein Hilfsskript "finalurl" eingeschlossen:
#!/bin/bash
curl $1 -s -L -I -o /dev/null -w '%{url_effective}'
-o Ausgabe an /dev/null-I nicht wirklich herunterladen, sondern nur die endgültige URL ermitteln-s stiller Modus, keine FortschrittsbalkenDies ermöglichte es, den Befehl aus anderen Skripten wie diesen aufzurufen:
echo `finalurl http://someurl/`
finalurl() { curl --silent --location --head --output /dev/null --write-out '%{url_effective}' -- "$@"; }
als weitere Option:
$ curl -i http://google.com
HTTP/1.1 301 Moved Permanently
Location: http://www.google.com/
Content-Type: text/html; charset=UTF-8
Date: Sat, 19 Jun 2010 04:15:10 GMT
Expires: Mon, 19 Jul 2010 04:15:10 GMT
Cache-Control: public, max-age=2592000
Server: gws
Content-Length: 219
X-XSS-Protection: 1; mode=block
<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>301 Moved</TITLE></HEAD><BODY>
<H1>301 Moved</H1>
The document has moved
<A HREF="http://www.google.com/">here</A>.
</BODY></HTML>
Aber es geht nicht über den ersten hinaus.
Sie können dies normalerweise mit wget tun. wget --content-disposition"url" zusätzlich, wenn Sie hinzufügen, werden -O /dev/nullSie die Datei nicht tatsächlich speichern.
wget -O /dev/null --content-disposition example.com
-O /dev/nullNur von bis ersetzen -O-. Besser:wget -O- --content-disposition example.com
Danke dir. Am Ende habe ich Ihre Vorschläge umgesetzt: curl -i + grep
curl -i http://google.com -L | egrep -A 10 '301 Moved Permanently|302 Found' | grep 'Location' | awk -F': ' '{print $2}' | tail -1
Gibt leer zurück, wenn die Website nicht umgeleitet wird, aber das ist gut genug für mich, da es bei aufeinanderfolgenden Weiterleitungen funktioniert.
Könnte fehlerhaft sein, aber auf einen Blick funktioniert es in Ordnung.
Die Parameter -L (--location)und -I (--head)immer noch unnötige HEAD-Anfrage an die Location-URL.
Wenn Sie sicher sind, dass Sie nicht mehr als eine Umleitung haben, ist es besser, die Verfolgungsposition zu deaktivieren und eine Curl-Variable% {redirect_url} zu verwenden.
Dieser Code führt nur eine HEAD-Anfrage an die angegebene URL aus und übernimmt redirect_url aus dem Location-Header:
curl --head --silent --write-out "%{redirect_url}\n" --output /dev/null "https://""goo.gl/QeJeQ4"
all_videos_link.txt - 50 Links von goo.gl + bit.ly, die zu youtube weiterleiten
time while read -r line; do
curl -kIsL -w "%{url_effective}\n" -o /dev/null $line
done < all_videos_link.txt
Ergebnisse:
real 1m40.832s
user 0m9.266s
sys 0m15.375s
time while read -r line; do
curl -kIs -w "%{redirect_url}\n" -o /dev/null $line
done < all_videos_link.txt
Ergebnisse:
real 0m51.037s
user 0m5.297s
sys 0m8.094s
Ich bin nicht sicher, wie ich es mit Curl machen soll, aber libwww-perl installiert den GET-Alias.
$ GET -S -d -e http://google.com
GET http://google.com --> 301 Moved Permanently
GET http://www.google.com/ --> 302 Found
GET http://www.google.ca/ --> 200 OK
Cache-Control: private, max-age=0
Connection: close
Date: Sat, 19 Jun 2010 04:11:01 GMT
Server: gws
Content-Type: text/html; charset=ISO-8859-1
Expires: -1
Client-Date: Sat, 19 Jun 2010 04:11:01 GMT
Client-Peer: 74.125.155.105:80
Client-Response-Num: 1
Set-Cookie: PREF=ID=a1925ca9f8af11b9:TM=1276920661:LM=1276920661:S=ULFrHqOiFDDzDVFB; expires=Mon, 18-Jun-2012 04:11:01 GMT; path=/; domain=.google.ca
Title: Google
X-XSS-Protection: 1; mode=block
Kannst du es versuchen?
#!/bin/bash
LOCATION=`curl -I 'http://your-domain.com/url/redirect?r=something&a=values-VALUES_FILES&e=zip' | perl -n -e '/^Location: (.*)$/ && print "$1\n"'`
echo "$LOCATION"
Hinweis: Wenn Sie den Befehl curl -I ausführen, muss http://your-domain.com einfache Anführungszeichen im Befehl like verwenden curl -I 'http://your-domain.com'