Als «web-crawler» getaggte Fragen

4
Hat ein Unternehmen das Recht impliziert, meine Website zu crawlen?
Ich habe herausgefunden, dass McAfee SiteAdvisor meine Website als "möglicherweise sicherheitsrelevant" gemeldet hat . Es ist mir egal, was McAfee von meiner Website hält (ich kann sie selbst sichern, und wenn nicht, ist McAfee definitiv nicht das Unternehmen, das ich um Hilfe bitten würde, vielen Dank.) Was mich jedoch stört, …
3
Wie erkennen Sites Bots hinter Proxys oder Firmennetzwerken?
Wie gehen große Websites (z. B. Wikipedia) mit Bots um, die sich hinter anderen IP-Maskern befinden? An meiner Universität durchsucht zum Beispiel jeder Wikipedia, wodurch es eine erhebliche Belastung darstellt. Soweit ich weiß, kann Wikipedia jedoch nur die IP des Uni-Routers kennen. Wenn ich also einen "entfesselten" Bot einrichte (mit …
4
Finden aller IP-Bereiche, die zu einem bestimmten ISP gehören
Ich habe ein Problem mit einer bestimmten Person, die meine Website immer wieder aggressiv abkratzt. Verschwendung von Bandbreite und CPU-Ressourcen. Ich habe bereits ein System implementiert, das meine Webserver-Zugriffsprotokolle abschließt, jede neue IP zu einer Datenbank hinzufügt, die Anzahl der von dieser IP gestellten Anforderungen verfolgt und dann, wenn dieselbe …
4
Wie bewerte ich das Crawlen meines IP-Blocks durch Google?
Ich habe mehrere Websites in einem /24Netzwerk, die alle regelmäßig von Google gecrawlt werden. Normalerweise ist das in Ordnung. Wenn Google jedoch alle Websites gleichzeitig crawlt, kann die kleine Anzahl von Servern, die diesen IP-Block unterstützen, beim Laden einen ziemlich großen Einfluss haben. Mit den Google Webmaster-Tools können Sie den …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.