So funktionieren Python-Anfragen über den Socken-Proxy

Ich verwende die großartige Requests- Bibliothek in meinem Python-Skript:

import requests
r = requests.get("some-site.com")
print r.text

Ich möchte Socken Proxy verwenden. Requests unterstützt jetzt jedoch nur den HTTP-Proxy.

Wie kann ich das machen?

Der moderne Weg:

pip install -U requests[socks]

dann

import requests

resp = requests.get('http://go.to', 
                    proxies=dict(http='socks5://user:pass@host:port',
                                 https='socks5://user:pass@host:port'))

Ab requestsVersion 2.10.0 , die am 29.04.2016 veröffentlicht wurde, requestswerden SOCKS unterstützt.

Es erfordert PySocks , mit denen installiert werden kann pip install pysocks.

Anwendungsbeispiel:

import requests
proxies = {'http': "socks5://myproxy:9191"}
requests.get('http://example.org', proxies=proxies)

Falls jemand all diese älteren Antworten ausprobiert hat und immer noch auf Probleme stößt wie:

requests.exceptions.ConnectionError: 
   SOCKSHTTPConnectionPool(host='myhost', port=80): 
   Max retries exceeded with url: /my/path 
   (Caused by NewConnectionError('<requests.packages.urllib3.contrib.socks.SOCKSConnection object at 0x106812bd0>: 
   Failed to establish a new connection: 
   [Errno 8] nodename nor servname provided, or not known',))

Dies kann daran liegen, dass standardmäßig requestsDNS-Abfragen auf der lokalen Seite der Verbindung aufgelöst werden.

Versuchen Sie, Ihre Proxy-URL von auf socks5://proxyhost:1234zu ändern socks5h://proxyhost:1234. Beachten Sie das Extra h(es steht für Hostnamenauflösung).

Die Standardeinstellung des PySocks-Paketmoduls ist die Remote-Auflösung , und ich bin mir nicht sicher, warum die Integration von Anfragen so dunkel voneinander abweicht , aber hier sind wir.

Sie müssen Pysocks installieren , meine Version ist 1.0 und der Code funktioniert für mich:

import socket
import socks
import requests
ip='localhost' # change your proxy's ip
port = 0000 # change your proxy's port
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, ip, port)
socket.socket = socks.socksocket
url = u'http://ajax.googleapis.com/ajax/services/search/images?v=1.0&q=inurl%E8%A2%8B'
print(requests.get(url).text)

Sobald Python requestsmit SOCKS5Pull-Request zusammengeführt wird, ist dies so einfach wie die Verwendung des proxiesWörterbuchs:

#proxy
        # SOCKS5 proxy for HTTP/HTTPS
        proxies = {
            'http' : "socks5://myproxy:9191",
            'https' : "socks5://myproxy:9191"
        }

        #headers
        headers = {

        }

        url='http://icanhazip.com/'
        res = requests.get(url, headers=headers, proxies=proxies)

Siehe SOCKS-Proxy-Unterstützung

Eine weitere Option für den Fall, dass Sie nicht warten können, requestbis Sie bereit sind, wenn Sie sie nicht verwenden können requesocks- wie bei GoogleAppEngine aufgrund des Fehlens eines pwdintegrierten Moduls -, ist die Verwendung der oben genannten PySocks :

1. Holen Sie sich die socks.pyDatei aus dem Repo und legen Sie eine Kopie in Ihrem Stammordner ab.
2. Hinzufügen import socksundimport socket

Zu diesem Zeitpunkt konfigurieren und binden Sie den Socket vor der Verwendung mit urllib2- im folgenden Beispiel:

import urllib2
import socket
import socks

socks.set_default_proxy(socks.SOCKS5, "myprivateproxy.net",port=9050)
socket.socket = socks.socksocket
res=urllib2.urlopen(url).read()

# SOCKS5 proxy for HTTP/HTTPS
proxiesDict = {
    'http' : "socks5://1.2.3.4:1080",
    'https' : "socks5://1.2.3.4:1080"
}

# SOCKS4 proxy for HTTP/HTTPS
proxiesDict = {
    'http' : "socks4://1.2.3.4:1080",
    'https' : "socks4://1.2.3.4:1080"
}

# HTTP proxy for HTTP/HTTPS
proxiesDict = {
    'http' : "1.2.3.4:1080",
    'https' : "1.2.3.4:1080"
}

Ich habe pysocks und monkey patched create_connection in urllib3 wie folgt installiert:

import socks
import socket
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS4, "127.0.0.1", 1080)

def create_connection(address, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,
                      source_address=None, socket_options=None):
    """Connect to *address* and return the socket object.

    Convenience function.  Connect to *address* (a 2-tuple ``(host,
    port)``) and return the socket object.  Passing the optional
    *timeout* parameter will set the timeout on the socket instance
    before attempting to connect.  If no *timeout* is supplied, the
    global default timeout setting returned by :func:`getdefaulttimeout`
    is used.  If *source_address* is set it must be a tuple of (host, port)
    for the socket to bind as a source address before making the connection.
    An host of '' or port 0 tells the OS to use the default.
    """

    host, port = address
    if host.startswith('['):
        host = host.strip('[]')
    err = None
    for res in socket.getaddrinfo(host, port, 0, socket.SOCK_STREAM):
        af, socktype, proto, canonname, sa = res
        sock = None
        try:
            sock = socks.socksocket(af, socktype, proto)

            # If provided, set socket level options before connecting.
            # This is the only addition urllib3 makes to this function.
            urllib3.util.connection._set_socket_options(sock, socket_options)

            if timeout is not socket._GLOBAL_DEFAULT_TIMEOUT:
                sock.settimeout(timeout)
            if source_address:
                sock.bind(source_address)
            sock.connect(sa)
            return sock

        except socket.error as e:
            err = e
            if sock is not None:
                sock.close()
                sock = None

    if err is not None:
        raise err

    raise socket.error("getaddrinfo returns an empty list")

# monkeypatch
urllib3.util.connection.create_connection = create_connection

Vielleicht kann das helfen:

https://github.com/kennethreitz/requests/pull/478

Ich könnte das unter Linux machen.

$ pip3 install --user 'requests[socks]'
$ https_proxy=socks5://<hostname or ip>:<port> python3 -c \
> 'import requests;print(requests.get("https://httpbin.org/ip").text)'