Als «robots.txt» getaggte Fragen

Robots.txt ist eine Textdatei, die von Website-Eigentümern verwendet wird, um Web-Robotern Anweisungen zu ihrer Website zu geben. Grundsätzlich sagt es Robotern, welche Teile der Site offen und welche Teile geschlossen sind. Dies wird als Robots Exclusion Protocol bezeichnet.

4
Dateien, die ich auf jeder Website haben sollte
Ich hätte gerne eine Liste der Dateien, die auf jeder Website vorhanden sein sollten. Die Idee ist, die meisten Browser und Bots zufrieden zu stellen und die Anzahl der 404 Nachrichten in den Protokollen zu ermitteln. Bisher habe ich folgende Dateien: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png Gibt es …
2
Wie verbiete ich ein gesamtes Verzeichnis mit robots.txt?
Diese Frage wurde von Stack Overflow migriert, da sie in Webmasters Stack Exchange beantwortet werden kann. Vor 8 Jahren migriert . Ich habe zwei Sites, an denen ich gerade arbeite, nämlich einen Einkaufswagen und einen anderen Käufer. Beide sind also zum Beispiel unter dem gleichen Domainnamen http://example.com/first_url http://example.com/second_url Unter diesen …
19 seo  robots.txt 
7
Zwischenspeichert Google robots.txt?
Ich habe vor einer Woche eine robots.txt- Datei zu einer meiner Websites hinzugefügt , die Googlebot daran hindern sollte, bestimmte URLs abzurufen. An diesem Wochenende kann ich jedoch feststellen, dass Googlebot genau diese URLs lädt. Zwischenspeichert Google die Datei robots.txt und sollte dies der Fall sein?
3
Kann sich robots.txt im Unterverzeichnis eines Servers befinden?
Ich habe ein Unterverzeichnis, das ich vor den Suchmaschinen-Webcrawlern verstecken möchte. Eine Möglichkeit, dies zu tun, ist die Verwendung von a robots.txtim Stammverzeichnis des Servers (die Standardmethode). Jeder, der die URL der Website kennt und über grundlegende Webkenntnisse verfügt, kann auf den Inhalt von robots.txt zugreifen und die unzulässigen Verzeichnisse …
4
Die Website wurde gehackt. Müssen alle URLs, die mit + beginnen, von Google entfernt werden? Verwenden Sie robots.txt?
Können Sie mir bitte mitteilen, wie Sie solche URLs robots.txtfür Googlebots blockieren können , um die Indizierung zu beenden? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Meine Website wurde gehackt, was nun wiederhergestellt ist, aber der Hacker hat 5000 URLs in Google indiziert und jetzt erhalte ich den Fehler 404 für zufällig generierte Links, wie vor …
3
Was ist eine mindestens gültige robots.txt-Datei?
Ich mag es nicht, dass ich viele 404-Fehler im access.log meines Webservers sehe . Ich erhalte diese Fehler, weil Crawler versuchen, eine robots.txt- Datei zu öffnen , aber keine finden konnten. Daher möchte ich eine einfache robots.txt- Datei platzieren, die verhindert, dass die 404-Fehler in meiner Protokolldatei angezeigt werden. Was …
14 robots.txt 
3
Robots.txt - CSS erlauben oder verbieten
Sind CSS und Templates in robots.txt erlaubt ? Sollte es irgendwelche Probleme verursachen? In Joomla sind CSS und Templates in der robots.txt nicht erlaubt . Bitte helfen Sie mir, eine Lösung dafür zu finden, ob Roboter für CSS, Vorlagen usw. für meine kommenden Websites verboten sind oder nicht.
12 css  robots.txt 
3
Robots.txt: Muss ich eine Seite verbieten, die nirgendwo verlinkt ist?
Es gibt einige Seiten auf meiner Website, die der Benutzer nur besuchen darf, wenn ich ihm die URL gebe. Wenn ich die einzelnen Seiten nicht zulasse robots.txt, sind sie für jeden sichtbar, der sie untersucht. Meine Frage ist: Wenn ich sie nicht von irgendwoher oder zumindest von irgendeiner indizierten Seite …
12 robots.txt 
2
Die Google Webmaster-Tools teilen mir mit, dass Roboter den Zugriff auf die Sitemap blockieren
Das ist meine robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Die Google Webmaster-Tools sagen mir jedoch, dass Roboter den Zugriff auf die Sitemap blockieren: Beim Versuch, auf Ihre Sitemap zuzugreifen, ist ein Fehler aufgetreten. Stellen Sie sicher, dass Ihre Sitemap unseren Richtlinien entspricht und an dem von …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.