Proxies mit dem Python-Modul 'Requests'

Nur eine kurze, einfache über die ausgezeichneten Anfragen Moduls für Python.

Ich kann in der Dokumentation anscheinend nicht finden, was die Variable 'Proxies' enthalten sollte. Wenn ich ihm ein Diktat mit einem Standardwert "IP: PORT" sende, wird es abgelehnt und nach 2 Werten gefragt. Also denke ich (weil dies nicht in den Dokumenten behandelt zu werden scheint), dass der erste Wert die IP und der zweite der Port ist?

Die Dokumente erwähnen dies nur:

Proxys - (optional) Wörterbuch-Zuordnungsprotokoll zur URL des Proxys.

Also habe ich es versucht ... was soll ich tun?

proxy = { ip: port}

und sollte ich diese in einen Typ konvertieren, bevor ich sie in das Diktat setze?

r = requests.get(url,headers=headers,proxies=proxy)

Die proxiesDiktatsyntax lautet {"protocol":"ip:port", ...}. Damit können Sie verschiedene (oder dieselben) Proxies für Anforderungen mithilfe der Protokolle http , https und ftp angeben :

http_proxy  = "http://10.10.1.10:3128"
https_proxy = "https://10.10.1.11:1080"
ftp_proxy   = "ftp://10.10.1.10:3128"

proxyDict = { 
              "http"  : http_proxy, 
              "https" : https_proxy, 
              "ftp"   : ftp_proxy
            }

r = requests.get(url, headers=headers, proxies=proxyDict)

Aus der requestsDokumentation abgeleitet :

Parameter:
method - Methode für das neue Request-Objekt.
url- URL für das neue Anforderungsobjekt.
...
proxies- (optional) Wörterbuch - Mapping - Protokoll auf die URL des Proxy .
...

Unter Linux können Sie tun dies auch über die HTTP_PROXY, HTTPS_PROXYund FTP_PROXYUmgebungsvariablen:

export HTTP_PROXY=10.10.1.10:3128
export HTTPS_PROXY=10.10.1.11:1080
export FTP_PROXY=10.10.1.10:3128

Unter Windows:

set http_proxy=10.10.1.10:3128
set https_proxy=10.10.1.11:1080
set ftp_proxy=10.10.1.10:3128

Vielen Dank, Jay, dass Sie darauf hingewiesen haben:
Die Syntax hat sich mit den Anforderungen 2.0.0 geändert .
Sie müssen der URL ein Schema hinzufügen: https://2.python-requests.org/en/latest/user/advanced/#proxies

Ich habe festgestellt, dass urllib einen wirklich guten Code hat, um die Proxy-Einstellungen des Systems abzurufen, und sie sind zufällig in der richtigen Form, um sie direkt zu verwenden. Sie können dies wie folgt verwenden:

import urllib

...
r = requests.get('http://example.org', proxies=urllib.request.getproxies())

Es funktioniert sehr gut und urllib weiß auch, wie man Mac OS X- und Windows-Einstellungen erhält.

Hier können Sie auf die Proxy-Dokumentation verweisen .

Wenn Sie einen Proxy verwenden müssen, können Sie einzelne Anforderungen mit dem Proxy-Argument für eine beliebige Anforderungsmethode konfigurieren:

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "https://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

Verwenden Sie die Syntax http: // user: password@host.com/, um HTTP Basic Auth mit Ihrem Proxy zu verwenden :

proxies = {
    "http": "http://user:pass@10.10.1.10:3128/"
}

Die akzeptierte Antwort war ein guter Anfang für mich, aber ich bekam immer wieder den folgenden Fehler:

AssertionError: Not supported proxy scheme None

Um dies zu beheben, wurde das http: // in der Proxy-URL folgendermaßen angegeben:

http_proxy  = "http://194.62.145.248:8080"
https_proxy  = "https://194.62.145.248:8080"
ftp_proxy   = "10.10.1.10:3128"

proxyDict = {
              "http"  : http_proxy,
              "https" : https_proxy,
              "ftp"   : ftp_proxy
            }

Es würde mich interessieren, warum das Original für einige Leute funktioniert, aber nicht für mich.

Bearbeiten: Ich sehe, dass die Hauptantwort jetzt aktualisiert wird, um dies widerzuspiegeln :)

Wenn Sie Cookies und Sitzungsdaten beibehalten möchten, tun Sie dies am besten folgendermaßen:

import requests

proxies = {
    'http': 'http://user:pass@10.10.1.0:3128',
    'https': 'https://user:pass@10.10.1.0:3128',
}

# Create the session and set the proxies.
s = requests.Session()
s.proxies = proxies

# Make the HTTP request through the session.
r = s.get('http://www.showmemyip.com/')

8 Jahre zu spät. Aber ich mag:

import os
import requests

os.environ['HTTP_PROXY'] = os.environ['http_proxy'] = 'http://http-connect-proxy:3128/'
os.environ['HTTPS_PROXY'] = os.environ['https_proxy'] = 'http://http-connect-proxy:3128/'
os.environ['NO_PROXY'] = os.environ['no_proxy'] = '127.0.0.1,localhost,.local'

r = requests.get('https://example.com')  # , verify=False

Hier ist meine Grundklasse in Python für das Anforderungsmodul mit einigen Proxy-Konfigurationen und Stoppuhr!

import requests
import time
class BaseCheck():
    def __init__(self, url):
        self.http_proxy  = "http://user:pw@proxy:8080"
        self.https_proxy = "http://user:pw@proxy:8080"
        self.ftp_proxy   = "http://user:pw@proxy:8080"
        self.proxyDict = {
                      "http"  : self.http_proxy,
                      "https" : self.https_proxy,
                      "ftp"   : self.ftp_proxy
                    }
        self.url = url
        def makearr(tsteps):
            global stemps
            global steps
            stemps = {}
            for step in tsteps:
                stemps[step] = { 'start': 0, 'end': 0 }
            steps = tsteps
        makearr(['init','check'])
        def starttime(typ = ""):
            for stemp in stemps:
                if typ == "":
                    stemps[stemp]['start'] = time.time()
                else:
                    stemps[stemp][typ] = time.time()
        starttime()
    def __str__(self):
        return str(self.url)
    def getrequests(self):
        g=requests.get(self.url,proxies=self.proxyDict)
        print g.status_code
        print g.content
        print self.url
        stemps['init']['end'] = time.time()
        #print stemps['init']['end'] - stemps['init']['start']
        x= stemps['init']['end'] - stemps['init']['start']
        print x


test=BaseCheck(url='http://google.com')
test.getrequests()

Ich habe gerade einen Proxy-Graber erstellt und kann mich auch ohne Eingabe mit demselben Proxy-Graby verbinden.

#Import Modules

from termcolor import colored
from selenium import webdriver
import requests
import os
import sys
import time

#Proxy Grab

options = webdriver.ChromeOptions()
options.add_argument('headless')
driver = webdriver.Chrome(chrome_options=options)
driver.get("https://www.sslproxies.org/")
tbody = driver.find_element_by_tag_name("tbody")
cell = tbody.find_elements_by_tag_name("tr")
for column in cell:

        column = column.text.split(" ")
        print(colored(column[0]+":"+column[1],'yellow'))
driver.quit()
print("")

os.system('clear')
os.system('cls')

#Proxy Connection

print(colored('Getting Proxies from graber...','green'))
time.sleep(2)
os.system('clear')
os.system('cls')
proxy = {"http": "http://"+ column[0]+":"+column[1]}
url = 'https://mobile.facebook.com/login'
r = requests.get(url,  proxies=proxy)
print("")
print(colored('Connecting using proxy' ,'green'))
print("")
sts = r.status_code

Es ist etwas spät, aber hier ist eine Wrapper-Klasse, die das Scraping von Proxys und das anschließende Erstellen eines http-POST oder GET vereinfacht:

ProxyRequests

https://github.com/rootVIII/proxy_requests

Ich teile Code zum Abrufen von Proxys von der Website "https://free-proxy-list.net" und speichere Daten in einer Datei, die mit Tools wie "Elite Proxy Switcher" kompatibel ist (Format IP: PORT):

## PROXY_UPDATER - Holen Sie sich kostenlose Proxys von https://free-proxy-list.net/

from lxml.html import fromstring
import requests
from itertools import cycle
import traceback
import re

######################FIND PROXIES#########################################
def get_proxies():
    url = 'https://free-proxy-list.net/'
    response = requests.get(url)
    parser = fromstring(response.text)
    proxies = set()
    for i in parser.xpath('//tbody/tr')[:299]:   #299 proxies max
        proxy = ":".join([i.xpath('.//td[1]/text()') 
        [0],i.xpath('.//td[2]/text()')[0]])
        proxies.add(proxy)
    return proxies



######################write to file in format   IP:PORT######################
try:
    proxies = get_proxies()
    f=open('proxy_list.txt','w')
    for proxy in proxies:
        f.write(proxy+'\n')
    f.close()
    print ("DONE")
except:
    print ("MAJOR ERROR")