Als «robots.txt» getaggte Fragen

6
Was ist eine gute robots.txt?
Wofür ist das "beste" Setup robots.txt? Ich verwende die folgende Permalink-Struktur /%category%/%postname%/. Mein robots.txtsieht momentan so aus (kopiert von irgendwo vor langer Zeit): User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */comments Ich möchte, dass …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.