Als «web-crawler» getaggte Fragen

7
Wie kann man beim Crawlen von Websites ein guter Bürger sein?
Ich werde einige Funktionen entwickeln, die verschiedene öffentliche Websites crawlen und die darauf enthaltenen Daten verarbeiten / aggregieren. Nichts ist so unheimlich wie das Suchen nach E-Mail-Adressen - in der Tat ist es etwas, das zusätzlichen Datenverkehr auf ihre Websites lenken könnte. Aber ich schweife ab. Gibt es robots.txt, abgesehen …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.