Antworten:
Kein Bot, der E-Mails abruft oder Ihre Site auf Schwachstellen überprüft, respektiert Ihre robots.txt. Tatsächlich sehen sich diese böswilligen Bots die robots.txt an, um Ihre Site besser abzubilden. Wenn Sie einen Punkt haben, Disallow:
wird dies verwendet, um Ihre Site besser anzugreifen. Ein Hacker, der Ihre Site manuell durchsucht, sollte zusätzliche Zeit damit verbringen, alle Dateien / Verzeichnisse zu untersuchen, die Sie nicht zulassen möchten.
robots.txt erhöht weder die Sicherheit Ihrer Website noch verhindert es das Ernten von E-Mail-Adressen. robots.txt ist eine Anleitung für Suchmaschinen zum Überspringen von Abschnitten Ihrer Website. Diese werden nicht indiziert und sollten für Abschnitte verwendet werden, die nicht in öffentlichen Suchmaschinen angezeigt werden sollen.
Dies wird jedoch in keiner Weise verhindern, dass andere Bots Ihre gesamte Site herunterladen, um die Sicherheit zu erhöhen oder das Sammeln von E-Mails zu verhindern. Um die Sicherheit zu erhöhen, müssen Sie eine Authentifizierung hinzufügen und nur authentifizierte Benutzer außerhalb der gesicherten Bereiche zulassen. Um das Sammeln von E-Mail-Adressen zu verhindern, sollten Sie E-Mails nicht im Nur-Text-Format (oder in leicht zu entzifferendem Text) auf einer Website ablegen.
Die robots.txt-Datei dient nur als Aufforderung, dass Bots und Spinnen bestimmte Inhalte in Ruhe lassen. es kann ihren Zugang nicht wirklich verhindern. Die "guten" Bots werden es respektieren, aber die "schlechten" (wahrscheinlich diejenigen, die Sie blockieren wollen) werden es ignorieren und trotzdem weitermachen.
Anstelle von robots.txt müssen Sie möglicherweise CAPTCHA-Codes verwenden.