7
Wie kann man beim Crawlen von Websites ein guter Bürger sein?
Ich werde einige Funktionen entwickeln, die verschiedene öffentliche Websites crawlen und die darauf enthaltenen Daten verarbeiten / aggregieren. Nichts ist so unheimlich wie das Suchen nach E-Mail-Adressen - in der Tat ist es etwas, das zusätzlichen Datenverkehr auf ihre Websites lenken könnte. Aber ich schweife ab. Gibt es robots.txt, abgesehen …