Verhindert diese "robots.txt" -Datei wirklich das Crawlen unserer Website? Ich versuche herauszufinden, warum unsere SEO so schlecht ist

Ich wurde beauftragt, einen Blick auf unsere Suchmaschinenoptimierung zu werfen (ein Bereich, in dem ich einige, aber keine erstaunliche Kompetenz habe), und als erstes fiel mir auf, dass in unserer robots.txt-Datei Folgendes steht:

# go away
User-agent: *
Disallow: /

Jetzt bin ich ziemlich kompetent im Lesen von Computern, und soweit ich das beurteilen kann, heißt das, dass ALLE Spinnen nichts im Stammverzeichnis oder darunter anschauen sollten.

Lese ich das richtig Weil das einfach verrückt erscheint.

Vielleicht wollte jemand nicht für den Spinnenverkehr bezahlen?

Unabhängig davon lesen Sie es richtig:

http://www.robotstxt.org/robotstxt.html

Websitebesitzer verwenden die Datei /robots.txt, um Webrobotern Anweisungen zu ihrer Website zu geben. Dies wird als Robots Exclusion Protocol bezeichnet. Das funktioniert so: Ein Roboter möchte eine Website-URL aufrufen, z . B. http://www.example.com/welcome.html . Zuvor wird zunächst nach http://www.example.com/robots.txt gesucht und Folgendes gefunden:

 User-agent: *
 Disallow: /

Das "User-agent: *"bedeutet, dass dieser Abschnitt für alle Roboter gilt. Das "Disallow: /"teilt dem Roboter mit, dass er keine Seiten auf der Site besuchen soll.

Ich habe diese Art von robots.txt beim ersten Entwickeln einer Website eingerichtet, da ich nicht möchte, dass sie von Google und anderen indiziert wird, bevor sie fertig ist.

Ich habe auch vergessen, das zu bearbeiten, nachdem die Seite online gegangen ist. * Gesichtspalme *