Kombinieren Sie Benutzeragenten in robots.txt

Können Benutzeragenten zusammen aufgelistet werden, gefolgt von ihren allgemeinen Regeln wie in einer robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent

— Davidcondrey
quelle

Gibt es einen Grund, warum Sie nicht verwenden, user-agent: *gefolgt von der Nichtzulassung? Ist die Liste der "erlaubten" Benutzeragenten länger als die Liste, die Sie nicht zulassen möchten?

— Mike Hudson

Siehe auch zu SO: Ist es möglich, mehrere Benutzeragenten in einer Zeile aufzulisten?

— Unor

Ja. Angenommen, Ihre Agentennamen sind korrekt angegeben, sollte dies funktionieren. Hier ist eine Ressource, wenn Sie mehr lesen möchten. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

— Schranknoc
quelle

Die ursprüngliche robots.txt-Spezifikation stimmt überein: "Wenn mehr als ein Benutzeragentenfeld vorhanden ist, beschreibt der Datensatz eine identische Zugriffsrichtlinie für mehr als einen Roboter."

— Ilmari Karonen