Webmaster robots.txt

4

So verhindern Sie, dass bestimmte URLs indiziert werden

Wenn ich tippe site:example.com(offensichtlich unter Verwendung meiner Domain), werden in der Liste mehrere Linkfehler angezeigt. Typischerweise haben sie die Form:/some/fixed/path/admin/unblockUser/11 Ich denke darüber nach, meiner robots.txtDatei die folgende Zeile hinzuzufügen : Disallow: /some/fixed/path/admin/*

8 seo google robots.txt google-index noindex

3

Robots.txt für mehrere Domains mit derselben Website

Ich habe die folgenden drei Domänen: example1.com (Nicht verbieten) example2.com (Nicht verbieten) example3.com (ermöglichen) Alle Domains verweisen auf denselben Ordner public_html. Wie kann ich verhindern, dass Suchmaschinen Seiten in den ersten beiden Domains crawlen?

8 seo robots.txt

1

Ist das Zeilenendformat von robots.txt wichtig?

Einfache Frage: Sollte ich sicherstellen, dass für meine robots.txt Unix-Zeilenenden verwendet werden, oder spielt das keine Rolle?

7 robots.txt

5

Sind indizierte Wordpress-Administrationsseiten eine Sicherheitsbedrohung?

Da Googlebot nicht auf wichtige Dateien zugreifen konnte, habe ich kürzlich unsere /robots.txtDatei aktualisiert und das meiste davon entfernt, einschließlichwp-admin . Jetzt haben mir die Verantwortlichen für Hosting und SEO eine E-Mail-Warnung gesendet, dass einige der Administrationsseiten von Google indiziert werden und ich das nicht zulassen muss wp-admin. Aus Sicherheitsgründen. …

7 google wordpress security robots.txt googlebot

3

Warum ist Disallow: / search in der robots.txt von Blogger?

Kann mir jemand sagen, was dies in der "robots.txt" -Datei von Blogger bedeutet? Muss ich etwas darin bearbeiten? Soll ich /searchaus der Disallow:Leitung entfernen ? User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://css3wdesign.blogspot.com/sitemap.xml

7 robots.txt blogger blogspot

7

Wird das Verbot von Bots es schwieriger machen, eine Website in Suchmaschinen zu finden?

Ich verwende Apache 2 und ein großer Teil unserer Seitenaufrufe stammt von Bots. Die meisten davon sind legitime wie Google und Bing. Ich möchte die Protokolle analysieren und genaue Statistiken darüber erhalten, wie viele menschliche Besucher ich habe. Daher habe ich robots.txt vorübergehend aktualisiert, um Bots auf allen Seiten zu …

7 web-crawlers robots.txt

5

Sollte ich den NOINDEX-Header für meine JS-, CSS- und Bilddateien festlegen?

Gibt es irgendwelche Schäden, wenn meine Site NOINDEX-Header für alle meine statischen Assets sendet? Für Bilddateien beziehe ich mich auf solche wertlosen, z. B. Hintergrundbilder, Schaltflächenbilder usw. Update: Weitere Hintergrundinformationen Ich habe diese Sorge, seit Google kürzlich sagte, dass sie auch JS ausführen und möglicherweise Inhalte über Ajax abrufen. Wenn …

7 seo google robots.txt noindex

4

robots.txt nicht aktualisiert

Ich habe einige URLs und Dateien in der robots.txt-Datei aktualisiert, um URLs und Dateien aus den Google-Suchergebnissen zu blockieren, aber immer noch Dateien, die in den Suchergebnissen angezeigt werden. Gemäß einem Vorschlag von einer Site habe ich versucht, die robots.txt durch die folgenden Schritte zu aktualisieren. Geben Sie in den …

7 robots.txt google-search-console

4

Wie verbiete ich in Robots.txt alle Seiten außer der Indexseite?

Ich möchte, dass Google meine Indexseite indiziert, aber keine anderen Seiten indiziert. User-agent: * Disallow: / Bisher habe ich das. Wenn ich dies tue, indiziert Google meine Indexseite jedoch nicht. Wenn ich meinen Namen in Google suche, wird lediglich "www.mydomain.com" als erstes Ergebnis ohne Beschreibung angezeigt. Stattdessen möchte ich, dass …

7 html seo robots.txt

2

Verhindert diese "robots.txt" -Datei wirklich das Crawlen unserer Website? Ich versuche herauszufinden, warum unsere SEO so schlecht ist

Ich wurde beauftragt, einen Blick auf unsere Suchmaschinenoptimierung zu werfen (ein Bereich, in dem ich einige, aber keine erstaunliche Kompetenz habe), und als erstes fiel mir auf, dass in unserer robots.txt-Datei Folgendes steht: # go away User-agent: * Disallow: / Jetzt bin ich ziemlich kompetent im Lesen von Computern, und …

7 seo robots.txt

2

Wie verbietet man root in robots.txt, lässt aber ein Unterverzeichnis zu?

Wie können Sie mit robots.txt das Stammverzeichnis einer Site (http://www.example.com/) nicht zulassen, aber ein Unterverzeichnis (http://www.example.com/lessons/) zulassen?

7 robots.txt

4

Wie konfigurieren Sie robots.txt so, dass das Crawlen der Site mit Ausnahme einiger Verzeichnisse möglich ist?

Was ist die beste anfängliche oder allgemeine Einrichtung für die robots.txt, damit Suchmaschinen die Site durchsuchen können, aber möglicherweise einige Ordner einschränken? Gibt es ein allgemeines Setup, das immer verwendet werden sollte?

7 seo robots.txt

Als «robots.txt» getaggte Fragen