Ich führe meinen Crawler auf Websites aus. Ich dachte, dass ich meine IP ändern sollte, bevor der Crawler ausgeführt wird, damit mich Websites nicht blockieren. Ich habe die Proxy Switcher-Software ausprobiert, sie hat großartig funktioniert.
Dann besuchte ich die http://whatismyip.com überprüfen. Aber es zeigte meine beiden IPs. Es wird "Proxy erkannt" angezeigt.
Ich möchte wissen, wie ein Proxyserver verwendet wird, wenn meine ursprüngliche IP-Adresse noch erkannt wird?
Antworten:
Wahrscheinlichkeiten sind der Proxy, den Sie verwenden X-Forwarded-For Header.
Ich dachte, dass ich meine IP ändern sollte, bevor der Crawler ausgeführt wird, damit mich Websites nicht blockieren.
Es klingt, als ob Sie eine Lösung für ein Problem erfinden, das nicht existiert. Wenn Sie nicht möchten, dass Websites Sie blockieren, respektieren Sie deren robots.txt, crawlen Sie ihre Websites nicht alle zwei Sekunden und Sie werden wahrscheinlich in Ordnung sein.
Wenn Sie versuchen, sich hinter 7 Proxys usw. zu verstecken, möchten Sie möglicherweise zu einem Proxy wechseln, der Ihre IP-Adresse nicht weiterleitet (dies ist optional), oder zu einem VPN.
Ich möchte wissen, was ein Proxy-Server nutzt, wenn meine ursprüngliche IP noch erkannt wird.
In einer Unternehmensumgebung werden sie für die Zwischenspeicherung und Zugriffskontrolle verwendet.