Wenn Sie eine Site über eine 301-Umleitung verschieben, sollten Sie eine robots.txt einrichten, die es Robotern nicht erlaubt, die alte Adresse zu crawlen?

8

Eine Site, an der ich arbeite, hat eine Subdomain über eine 301-Umleitung in eine andere Subdomain verschoben. Beim Überprüfen von robots.txt der alten Subdomain wird jedoch eine robots.txt verwendet, die das Crawlen von Suchmaschinen-Webcrawlern nicht zulässt.

Ist das der richtige Schritt? Ich glaube nein, weil die Crawler die alte Site nicht crawlen können, um die 301-Statuscodes anzuzeigen.

seo redirects robots.txt

— Matte Junge
quelle

3

War das Verbot bereits vor dem Umzug vorhanden? Einige Websites möchten nicht in Suchmaschinen sein. Es ist unklar, wie sich die Situation entwickelt hat.

— user64742

11

Ihr Verdacht ist richtig, mit der genauen Begründung, die Sie erwähnt haben. Wenn Sie Robotern den Zugriff auf die alte Site untersagen, können sie die 301-Umleitung nicht sehen.

— Theo van der Zee
quelle

Würde dies auch bedeuten, dass Link-Saft, der auf die alte Domain verweist, nicht auf die neue Domain übertragen wird, da die robots.txt Gbot nicht crawlen lässt?

— Matte Junge

1

Ja, genau das würde passieren, wenn die robots.txt den Zugriff auf die Bots blockiert.

— Theo van der Zee

5

Ich glaube nein, weil die Crawler die alte Site nicht crawlen können, um die 301-Statuscodes anzuzeigen.

Ja genau - das ist nicht der "richtige Schritt". Wenn Sie eine 301-Weiterleitung implementieren, vermutlich um die Suchmaschinenoptimierung zu erhalten, verhindert das Blockieren der umgeleiteten URLs, dass die Suchmaschinen die Weiterleitung sehen und den neuen Inhalt indizieren.

— DocRoot
quelle

Würde dies auch bedeuten, dass Link-Saft, der auf die alte Domain verweist, nicht auf die neue Domain übertragen wird, da die robots.txt Gbot nicht crawlen lässt?

— Matte Junge

@mat Junge, "Link Saft" wird selten aktualisiert, wenn überhaupt. Es ist unwahrscheinlich, dass jemals mit oder ohne die robots.txt-Datei auf die neue Domain aktualisiert wird. Wenn Sie jedoch die 301 auf unbestimmte Zeit an Ort und Stelle halten, wird sichergestellt, dass die Links an der richtigen Stelle landen.

— Octopus

1

@Octopus Sie scheinen "PageRank" zu beschreiben, nicht "Link Juice"? "Link-Saft" ist nur ein allgemeiner Begriff, der den SEO-Vorteil des Verlinkens von einer Seite zur anderen beschreibt.

— DocRoot

1

@matboy Ja, das stimmt, es wird kein "Link-Saft" an die neue URL übertragen. Da der Bot die Weiterleitung nicht sehen kann, weiß der Bot (Suchmaschine) nicht, dass die Seite an einen anderen Ort verschoben wurde. Die alten URLs werden in den SERPs gelöscht und verschwinden schließlich, während die neuen URLs ihre SEO von Grund auf neu erstellen müssen.

— DocRoot

0

Ich würde die robots.txt unverändert lassen, aber sicherstellen, dass die alten und neuen Seiten die entsprechende Version der Canonical-Tags haben. Dies wird der Suchmaschine helfen, einen Sinn für das zu finden, was passiert ist.

— Jason
quelle

2

Wie können die Crawler die kanonischen Tags auf der Webseite lesen, wenn Sie ihnen sagen, dass sie die Webseite nicht crawlen sollen?

— Matte Junge