Ich möchte den Inhalt von der folgenden Website erhalten. Wenn ich einen Browser wie Firefox oder Chrome verwende, kann ich die gewünschte Website-Seite abrufen. Wenn ich jedoch das Python-Anforderungspaket (oder den wgetBefehl) verwende, wird eine völlig andere HTML-Seite zurückgegeben. Ich dachte, der Entwickler der Website hätte einige Blöcke dafür gemacht, daher lautet die Frage:
Wie fälsche ich einen Browser-Besuch mithilfe von Python-Anfragen oder dem Befehl wget?
Antworten:
Geben Sie einen User-AgentHeader an :
import requests
url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
response = requests.get(url, headers=headers)
print(response.content)
Zu Ihrer Information, hier ist eine Liste von User-Agent-Zeichenfolgen für verschiedene Browser:
Als Randnotiz gibt es ein ziemlich nützliches Paket von Drittanbietern namens fake-useragent , das eine schöne Abstraktionsschicht über Benutzeragenten bietet:
fake-useragent
Aktueller einfacher Useragent-Fälscher mit realer Datenbank
Demo:
>>> from fake_useragent import UserAgent
>>> ua = UserAgent()
>>> ua.chrome
u'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36'
>>> ua.random
u'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36'
PhantomJSHeadless-Browser mit Selen verwenden können. Vielen Dank. (Vergessen Sie nicht, die Antwort zu akzeptieren, wenn es hilfreich war)
wenn diese Frage noch gültig ist
Ich habe gefälschten UserAgent verwendet
Wie benutzt man:
from fake_useragent import UserAgent
import requests
ua = UserAgent()
print(ua.chrome)
header = {'User-Agent':str(ua.chrome)}
print(header)
url = "https://www.hybrid-analysis.com/recent-submissions?filter=file&sort=^timestamp"
htmlContent = requests.get(url, headers=header)
print(htmlContent)
Ausgabe:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17
{'User-Agent': 'Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36'}
<Response [200]>
Versuchen Sie dies, indem Sie Firefox als gefälschten Benutzeragenten verwenden (außerdem ist es ein gutes Startskript für das Web-Scraping mithilfe von Cookies):
#!/usr/bin/env python2
# -*- coding: utf8 -*-
# vim:ts=4:sw=4
import cookielib, urllib2, sys
def doIt(uri):
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
page = opener.open(uri)
page.addheaders = [('User-agent', 'Mozilla/5.0')]
print page.read()
for i in sys.argv[1:]:
doIt(i)
python script.py "http://www.ichangtou.com/#company:data_000008.html"Die Wurzel der Antwort ist, dass die Person, die die Frage stellt, einen JavaScript-Interpreter haben muss, um das zu bekommen, wonach sie sucht. Ich habe festgestellt, dass ich alle gewünschten Informationen auf einer Website in json abrufen kann, bevor sie von JavaScript interpretiert wurden. Dies hat mir eine Menge Zeit beim Parsen von HTML gespart, in der Hoffnung, dass jede Webseite das gleiche Format hat.
Wenn Sie also eine Antwort von einer Website mit Anfragen erhalten, schauen Sie sich wirklich den HTML / Text an, da Sie möglicherweise die Javascripts JSON in der Fußzeile finden, die zum Parsen bereit sind.