Wie kann ich mich mit Python auf einer Webseite anmelden und Cookies für die spätere Verwendung abrufen?

Ich möchte die Webseite mit Python herunterladen und analysieren, aber um darauf zugreifen zu können, müssen ein paar Cookies gesetzt werden. Daher muss ich mich zuerst über https auf der Webseite anmelden. Der Anmeldemoment umfasst das Senden von zwei POST-Parametern (Benutzername, Kennwort) an /login.php. Während der Anmeldeanforderung möchte ich die Cookies aus dem Antwortheader abrufen und speichern, damit ich sie in der Anforderung zum Herunterladen der Webseite /data.php verwenden kann.

Wie würde ich das in Python machen (vorzugsweise 2.6)? Wenn möglich möchte ich nur eingebaute Module verwenden.

import urllib, urllib2, cookielib

username = 'myuser'
password = 'mypassword'

cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'username' : username, 'j_password' : password})
opener.open('http://www.example.com/login.php', login_data)
resp = opener.open('http://www.example.com/hiddenpage.php')
print resp.read()

resp.read()ist das reine HTML der Seite, die Sie öffnen möchten, und Sie können openerjede Seite mit Ihrem Sitzungscookie anzeigen.

Hier ist eine Version, die die Bibliothek für hervorragende Anfragen verwendet:

from requests import session

payload = {
    'action': 'login',
    'username': USERNAME,
    'password': PASSWORD
}

with session() as c:
    c.post('http://example.com/login.php', data=payload)
    response = c.get('http://example.com/protected_page.php')
    print(response.headers)
    print(response.text)