Gibt es eine einfache Möglichkeit, eine URL in Python anzufordern und NICHT Weiterleitungen zu folgen?

Wenn man sich die Quelle von urllib2 ansieht, scheint es am einfachsten zu sein, HTTPRedirectHandler in eine Unterklasse zu unterteilen und dann build_opener zu verwenden, um den Standard-HTTPRedirectHandler zu überschreiben. Dies scheint jedoch eine Menge (relativ komplizierter) Arbeit zu sein, um das zu tun, was es sein sollte ziemlich einfach.

Hier ist der Weg der Anfragen :

import requests
r = requests.get('http://github.com', allow_redirects=False)
print(r.status_code, r.headers['Location'])

Dive Into Python hat ein gutes Kapitel zum Umgang mit Weiterleitungen mit urllib2. Eine andere Lösung ist httplib .

>>> import httplib
>>> conn = httplib.HTTPConnection("www.bogosoft.com")
>>> conn.request("GET", "")
>>> r1 = conn.getresponse()
>>> print r1.status, r1.reason
301 Moved Permanently
>>> print r1.getheader('Location')
http://www.bogosoft.com/new/location

Dies ist ein urllib2-Handler, der Weiterleitungen nicht folgt:

class NoRedirectHandler(urllib2.HTTPRedirectHandler):
    def http_error_302(self, req, fp, code, msg, headers):
        infourl = urllib.addinfourl(fp, headers, req.get_full_url())
        infourl.status = code
        infourl.code = code
        return infourl
    http_error_300 = http_error_302
    http_error_301 = http_error_302
    http_error_303 = http_error_302
    http_error_307 = http_error_302

opener = urllib2.build_opener(NoRedirectHandler())
urllib2.install_opener(opener)

Das redirectionsSchlüsselwort in der httplib2Anforderungsmethode ist ein roter Hering. Anstatt die erste Anforderung zurückzugeben, wird eine RedirectLimitAusnahme ausgelöst, wenn ein Umleitungsstatuscode empfangen wird. Um wieder die inital Antwort , die Sie festlegen müssen , follow_redirectsum Falseauf das HttpObjekt:

import httplib2
h = httplib2.Http()
h.follow_redirects = False
(response, body) = h.request("http://example.com")

Ich nehme an, das würde helfen

from httplib2 import Http
def get_html(uri,num_redirections=0): # put it as 0 for not to follow redirects
conn = Http()
return conn.request(uri,redirections=num_redirections)

Ich bin der zweite Zeiger von olt, um in Python einzutauchen . Hier ist eine Implementierung mit urllib2-Redirect-Handlern, mehr Arbeit als es sein sollte? Vielleicht Achselzucken.

import sys
import urllib2

class RedirectHandler(urllib2.HTTPRedirectHandler):
    def http_error_301(self, req, fp, code, msg, headers):  
        result = urllib2.HTTPRedirectHandler.http_error_301( 
            self, req, fp, code, msg, headers)              
        result.status = code                                 
        raise Exception("Permanent Redirect: %s" % 301)

    def http_error_302(self, req, fp, code, msg, headers):
        result = urllib2.HTTPRedirectHandler.http_error_302(
            self, req, fp, code, msg, headers)              
        result.status = code                                
        raise Exception("Temporary Redirect: %s" % 302)

def main(script_name, url):
   opener = urllib2.build_opener(RedirectHandler)
   urllib2.install_opener(opener)
   print urllib2.urlopen(url).read()

if __name__ == "__main__":
    main(*sys.argv) 

Der kürzeste Weg ist jedoch

class NoRedirect(urllib2.HTTPRedirectHandler):
    def redirect_request(self, req, fp, code, msg, hdrs, newurl):
        pass

noredir_opener = urllib2.build_opener(NoRedirect())