Wie funktioniert "Noindex:" in robots.txt?

Ich bin heute in meinen SEO-Nachrichten auf diesen Artikel gestoßen. Es scheint zu implizieren, dass Sie Noindex:zusätzlich zu den Standardanweisungen Disallow:in robots.txt Direktiven verwenden können .

Disallow: /page-one.html
Noindex: /page-two.html

Es scheint, als würde dies verhindern, dass Suchmaschinen Seite eins crawlen und Seite zwei indizieren.

Wird diese robots.txt- Direktive von Google und anderen Suchmaschinen unterstützt? Funktioniert es? Ist es dokumentiert?

— Stephen Ostermiller
quelle

Ich weiß nicht ... aber das könnte für einige sehr hilfreich sein. Außerdem würde ich mir wünschen, dass die Sitemap kommunikativer gestaltet wird. Zwischen Robotern und Sitemaps sollte dies eine einmalige Gelegenheit sein, Suchmaschinen und anderen über eine Website zu informieren. Ich befürworte auch eine textbasierte Möglichkeit, Suchmaschinen auf eine andere Art und Weise über die Website zu informieren, als dies bei Suchanfragen wie der About-Seite der Fall ist, als ob Sie die Möglichkeit hätten, direkt mit einem Google Site Reviewer zu sprechen. Es könnte einige Herzschmerzen und Missverständnisse ersparen. Eine Chance, Ooopppsss zu sagen, ich habe gepatzt - Entschuldigung.

— Closetnoc

Ich habe den Eindruck, dass disallowGoogle keine Links auf den übergeordneten und untergeordneten Seiten mehr entdeckt, falls vorhanden. Während noindexdie Liste einfach angehalten wird, wird die Erkennung nicht gestoppt, solange dies nicht zulässig ist.

— Simon Hayter

@ SimonHayter Ich weiß, dass dies nofollowfür Meta-Tags funktioniert. Es wäre schön zu wissen, ob dies auch für robots.txt der Fall ist .

— Stephen Ostermiller

Hey @StephenOstermiller nicht nur Meta-Tags, es ist auch das gleiche für <a rel="no-follow">. Ich sehe keinen Grund, warum es anders behandelt würde. Offensichtlich ist dies nicht offiziell und es wird sogar von John Muller empfohlen, es nicht in der robots.txt zu verwenden, aber abgesehen von seinem Tweet habe ich nicht viele Informationen darüber gefunden.

— Simon Hayter

Es ist erwähnenswert, dass Google die NoindexDirektive in robots.txtDateien nicht mehr als Fehler kennzeichnet.

— Aran

Früher unterstützte Google inoffiziell eine NoindexRichtlinie in robots.txt. 2019 kündigten sie jedoch an, dass die Richtlinie nicht mehr funktionieren wird.

Das sagt John Mueller vonNoindex: Google in robots.txt :

Wir haben die No-Index-Direktive in robots.txt als experimentelle Funktion unterstützt. Aber darauf würde ich mich nicht verlassen. Und ich glaube nicht, dass andere Suchmaschinen das überhaupt nutzen.

Bevor Google bekannt gab, dass die Funktion eingestellt wurde, führte deepcrawl.com einige Tests der Funktion durch und stellte fest, dass:

Vor 2019 funktionierte es noch mit Google
Es wurde verhindert, dass URLs im Suchindex angezeigt werden
URLs, die in robots.txt nicht indiziert wurden, wurden in der Google Search Console als solche gekennzeichnet

Da Google die Funktion eingestellt hat, sollte sie nicht mehr verwendet werden.

Verwenden Sie stattdessen Roboter-Meta-Tags, die gut unterstützt und dokumentiert werden , um eine Indizierung zu verhindern:

<meta name="robots" content="noindex" />

— Stephen Ostermiller
quelle