Als «robots.txt» getaggte Fragen

3
Kann eine relative Sitemap-URL in einer robots.txt verwendet werden?
Kann ich in robots.txt die folgende relative URL für die Sitemap-Datei schreiben? sitemap: /sitemap.ashx Oder muss ich die vollständige (absolute) URL für die Sitemap-Datei verwenden, wie: sitemap: http://subdomain.domain.com/sitemap.ashx Warum ich mich frage: Ich besitze einen neuen Blog-Dienst, www.domain.com, mit dem Benutzer auf accountname.domain.com bloggen können. Ich verwende Platzhalter, daher verweisen …
191 seo  sitemap  robots.txt 
4
Wie konfiguriere ich robots.txt, um alles zuzulassen?
Meine robots.txtGoogle Webmaster-Tools zeigen die folgenden Werte an: User-agent: * Allow: / Was heißt das? Ich habe nicht genug Wissen darüber, also suche deine Hilfe. Ich möchte allen Robotern erlauben, meine Website zu crawlen. Ist dies die richtige Konfiguration?
116 robots.txt 
10
Statische Dateien in Flask - robot.txt, sitemap.xml (mod_wsgi)
Gibt es eine clevere Lösung, um statische Dateien im Anwendungsstammverzeichnis von Flask zu speichern? robots.txt und sitemap.xml werden voraussichtlich in / gefunden, daher war meine Idee, Routen für sie zu erstellen: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response Es muss etwas Bequemeres geben :)
3
URLs in robot.txt mit bestimmten Parametern ignorieren?
Ich möchte, dass Google URLs wie diese ignoriert: http://www.mydomain.com/new-printers?dir=asc&order=price&p=3 Alle URLs mit den Parametern dir, order und price sollten ignoriert werden, aber ich habe keine Erfahrung mit Robots.txt. Irgendeine Idee?
74 seo  robots.txt 
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.