Was sind die Unterschiede zwischen dem Modul urllib, urllib2, urllib3 und dem Anforderungsmodul?

In Python, was sind die Unterschiede zwischen der urllib, urllib2, urllib3und requestsModule? Warum gibt es drei? Sie scheinen dasselbe zu tun ...

Ich weiß, dass es bereits gesagt wurde, aber ich würde das requestsPython-Paket wärmstens empfehlen .

Wenn Sie andere Sprachen als Python verwendet haben, denken Sie wahrscheinlich urllibund urllib2sind einfach zu bedienen, nicht viel Code und sehr leistungsfähig. So habe ich früher gedacht. Aber das requestsPaket ist so unglaublich nützlich und kurz, dass jeder es verwenden sollte.

Erstens unterstützt es eine vollständig erholsame API und ist so einfach wie:

import requests

resp = requests.get('http://www.mywebsite.com/user')
resp = requests.post('http://www.mywebsite.com/user')
resp = requests.put('http://www.mywebsite.com/user/put')
resp = requests.delete('http://www.mywebsite.com/user/delete')

Unabhängig davon, ob GET / POST, Sie müssen nie wieder Parameter codieren, es wird einfach ein Wörterbuch als Argument verwendet und es kann losgehen:

userdata = {"firstname": "John", "lastname": "Doe", "password": "jdoe123"}
resp = requests.post('http://www.mywebsite.com/user', data=userdata)

Außerdem hat es sogar einen eingebauten JSON-Decoder (ich weiß wieder, dass json.loads()es nicht viel mehr zu schreiben gibt, aber das ist sicher praktisch):

resp.json()

Oder wenn Ihre Antwortdaten nur Text sind, verwenden Sie:

resp.text

Dies ist nur die Spitze des Eisbergs. Dies ist die Liste der Funktionen auf der Anforderungssite:

• Internationale Domains und URLs
• Keep-Alive & Verbindungspooling
• Sitzungen mit Cookie-Persistenz
• SSL-Überprüfung im Browser-Stil
• Basic / Digest-Authentifizierung
• Elegante Schlüssel- / Wert-Cookies
• Automatische Dekomprimierung
• Unicode-Antwortkörper
• Hochladen von mehrteiligen Dateien
• Verbindungszeitüberschreitungen
• .netrc Unterstützung
• Listenpunkt
• Python 2.6—3.4
• Gewindesicher.

urllib2 bietet einige zusätzliche Funktionen, nämlich die urlopen()Funktion, mit der Sie Header angeben können (normalerweise hätten Sie in der Vergangenheit httplib verwenden müssen, was weitaus ausführlicher ist). Noch wichtiger ist jedoch, dass urllib2 die RequestKlasse bereitstellt , die mehr ermöglicht deklarativer Ansatz zur Bearbeitung einer Anfrage:

r = Request(url='http://www.mysite.com')
r.add_header('User-Agent', 'awesome fetcher')
r.add_data(urllib.urlencode({'foo': 'bar'})
response = urlopen(r)

Beachten Sie, dass dies urlencode()nur in urllib und nicht in urllib2 erfolgt.

Es gibt auch Handler für die Implementierung einer erweiterten URL-Unterstützung in urllib2. Die kurze Antwort lautet: Wenn Sie nicht mit Legacy-Code arbeiten, möchten Sie wahrscheinlich den URL-Öffner von urllib2 verwenden, müssen jedoch für einige der Dienstprogrammfunktionen noch in urllib importieren.

Bonus Antwort Mit Google App Engine, können Sie alle httplib verwenden, urllib oder urllib2, aber alle von ihnen sind nur Wrapper für die Google-URL API abrufen. Das heißt, Sie unterliegen immer noch denselben Einschränkungen wie Ports, Protokollen und der Länge der zulässigen Antwort. Sie können den Kern der Bibliotheken jedoch wie erwartet zum Abrufen von HTTP-URLs verwenden.

urllib und urllib2 sind beide Python-Module, die URL-Request-bezogene Dinge ausführen, aber unterschiedliche Funktionen bieten.

1) urllib2 kann ein Request-Objekt akzeptieren, um die Header für eine URL-Anfrage festzulegen. Urllib akzeptiert nur eine URL.

2) urllib stellt die urlencode- Methode bereit , die zur Erzeugung von GET-Abfragezeichenfolgen verwendet wird. Urllib2 hat keine solche Funktion. Dies ist einer der Gründe, warum urllib häufig zusammen mit urllib2 verwendet wird.

Requests - Requests 'ist eine einfache, benutzerfreundliche HTTP-Bibliothek, die in Python geschrieben wurde.

1) Python Requests codiert die Parameter automatisch, sodass Sie sie nur als einfache Argumente übergeben, im Gegensatz zu urllib, wo Sie die Methode urllib.encode () verwenden müssen , um die Parameter zu codieren, bevor Sie sie übergeben.

2) Die Antwort wird automatisch in Unicode dekodiert.

3) Anfragen haben auch eine weitaus bequemere Fehlerbehandlung. Wenn Ihre Authentifizierung fehlschlägt, würde urllib2 einen urllib2.URLError auslösen, während Anfragen erwartungsgemäß ein normales Antwortobjekt zurückgeben würden. Alles, was Sie sehen müssen, um zu sehen, ob die Anfrage von boolean response.ok erfolgreich war

Ein wesentlicher Unterschied besteht darin, Python2 auf Python3 zu portieren. urllib2 existiert nicht für python3 und seine auf urllib portierten Methoden. Wenn Sie das also stark nutzen und in Zukunft auf Python3 migrieren möchten, sollten Sie urllib verwenden. Das 2to3-Tool erledigt jedoch automatisch den größten Teil der Arbeit für Sie.

Nur um die vorhandenen Antworten zu ergänzen, sehe ich niemanden, der erwähnt, dass Python-Anfragen keine native Bibliothek sind. Wenn Sie mit dem Hinzufügen von Abhängigkeiten einverstanden sind, sind Anforderungen in Ordnung. Wenn Sie jedoch versuchen, das Hinzufügen von Abhängigkeiten zu vermeiden, ist urllib eine native Python-Bibliothek, die Ihnen bereits zur Verfügung steht.

Ich mag die urllib.urlencodeFunktion und sie scheint in nicht zu existieren urllib2.

>>> urllib.urlencode({'abc':'d f', 'def': '-!2'})
'abc=d+f&def=-%212'

So erhalten Sie den Inhalt einer URL:

try: # Try importing requests first.
    import requests
except ImportError: 
    try: # Try importing Python3 urllib
        import urllib.request
    except AttributeError: # Now importing Python2 urllib
        import urllib


def get_content(url):
    try:  # Using requests.
        return requests.get(url).content # Returns requests.models.Response.
    except NameError:  
        try: # Using Python3 urllib.
            with urllib.request.urlopen(index_url) as response:
                return response.read() # Returns http.client.HTTPResponse.
        except AttributeError: # Using Python3 urllib.
            return urllib.urlopen(url).read() # Returns an instance.

Es ist schwierig, Python2- und Python3- und requestAbhängigkeitscode für die Antworten zu schreiben, da sie urlopen()funktionieren und requests.get()unterschiedliche Typen zurückgeben:

• Python2 urllib.request.urlopen()gibt a zurückhttp.client.HTTPResponse
• Python3 urllib.urlopen(url)gibt eine zurückinstance
• Anfrage request.get(url)gibt a zurückrequests.models.Response

Sie sollten im Allgemeinen urllib2 verwenden, da dies die Dinge manchmal etwas einfacher macht, indem Anforderungsobjekte akzeptiert werden, und auch eine URLException für Protokollfehler auslöst. Mit Google App Engine können Sie jedoch auch nicht verwenden. Sie müssen die URL-Abruf-API verwenden , die Google in seiner Python-Umgebung mit Sandbox bereitstellt.

Ein wichtiger Punkt, der in den obigen Antworten fehlt, ist, dass urllib ein Objekt vom Typ zurückgibt, <class http.client.HTTPResponse>während es requestszurückgibt <class 'requests.models.Response'>.

Aus diesem Grund kann die read () -Methode mit, urllibaber nicht mit verwendet werden requests.

PS: requestsist bereits reich an so vielen Methoden, dass es kaum noch eine braucht als read();>