Auf einem Webserver muss ich jetzt noch administrieren, dass mir aufgefallen ist, dass die robots.txt leer ist. Ich fragte mich, ob es einen Unterschied zwischen einer leeren robots.txt und gar keiner Datei gibt.
Verhalten sich Crawler in diesen beiden Fällen unterschiedlich? Ist es also sicher, nur eine leere robots.txt zu löschen?
Antworten:
Verhalten sich Crawler in diesen beiden Fällen unterschiedlich?
Eine leere robots.txt- Datei unterscheidet sich nicht von einer, die nicht gefunden wurde. Beides verbietet das Crawlen nicht.
Es kann jedoch vorkommen, dass 404Ihre Serverprotokolle viele Fehler enthalten, wenn Crawler die robots.txt- Datei anfordern , wie in dieser Frage hier angegeben .
Ist es also sicher, nur eine leere robots.txt zu löschen?
Ja, mit dem obigen Vorbehalt.
Nein, es gibt keinen Unterschied.
In Ihrem Serverprotokoll werden 404 Fehler angezeigt. Wenn Sie beispielsweise Google Web Master-Tools abonniert haben, werden Sie möglicherweise darauf hingewiesen, dass Sie über keine Tools verfügen, diese jedoch hinsichtlich des Verhaltens des Crawler-Roboters identisch sind Jeder Roboter, der Ihnen am Herzen liegt.