Ich verwende einen ziemlich großen Webcrawler. Wir sind sehr bemüht, den Crawler innerhalb der akzeptierten Community-Standards zu betreiben, und dazu gehört auch die Einhaltung von robots.txt. Wir bekommen nur sehr wenige Beschwerden über den Crawler, aber wenn wir das tun, geht es hauptsächlich um unseren Umgang mit robots.txt. Meistens hat der Webmaster einen Fehler in seiner robots.txt gemacht und wir weisen freundlich auf den Fehler hin. Aber in regelmäßigen Abständen stoßen wir auf Grauzonen, die den Umgang mit Allowund beinhalten Disallow.
Die robots.txt- Seite wird nicht behandelt Allow. Ich habe andere Seiten gesehen, von denen einige besagen, dass Crawler eine "First Matching" -Regel verwenden, und andere, die dies nicht angeben. Das führt zu Verwirrung. Auf der Google-Seite zu robots.txt wurde beispielsweise dieses Beispiel verwendet:
User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html
Offensichtlich würde eine "First Matching" -Regel hier nicht funktionieren, da der Crawler das sehen Disallowund verschwinden würde und niemals die speziell zulässige Datei crawlen würde .
Wir sind im klaren, wenn wir alle AllowZeilen ignorieren , aber dann kriechen wir möglicherweise nicht etwas, das wir kriechen dürfen. Wir werden Dinge vermissen.
Wir hatten großen Erfolg, indem wir Allowzuerst und dann Disallowdie Idee überprüft haben , die Allowspezifischer sein sollte als Disallow. Dies liegt daran, dass standardmäßig (dh ohne gegenteilige Anweisungen) jeder Zugriff zulässig ist. Aber dann stoßen wir auf so etwas:
User-agent: *
Disallow: /norobots/
Allow: /
Die Absicht hier ist offensichtlich, aber das Allow: /führt dazu, dass ein Bot, der Allowzuerst prüft , glaubt, dass er alles auf der Site crawlen kann.
Auch das kann in diesem Fall umgangen werden. Wir können das Matching Allowmit dem Matching vergleichen Disallowund feststellen, dass wir in / norobots / nichts crawlen dürfen. Aber das bricht angesichts von Platzhaltern zusammen:
User-agent: *
Disallow: /norobots/
Allow: /*.html$
Die Frage ist also, ob der Bot kriechen darf /norobots/index.html.
Die "First Matching" -Regel beseitigt alle Mehrdeutigkeiten, aber ich sehe oft Websites, die so etwas wie das alte Google-Beispiel zeigen und die spezifischeren Allow nach dem setzen Disallow. Diese Syntax erfordert mehr Verarbeitung durch den Bot und führt zu Mehrdeutigkeiten, die nicht gelöst werden können.
Meine Frage ist also, wie man Dinge richtig macht. Was erwarten Webmaster von einem gut erzogenen Bot, wenn es um die Handhabung von robots.txt geht?