Wie Goyllo bereits angegeben hat, crawlen Suchmaschinen-Bots Seiten mit einem noindexMeta-Tag. Wenn Sie darüber nachdenken, müssen sie die Seite crawlen, um das noindexMeta-Tag überhaupt zu sehen . (Sie könnten X-Robots-Tagstattdessen einen HTTP-Antwortheader verwenden, und theoretisch müsste ein Bot nur eine HEAD-Anforderung ausführen, um das noindexAttribut anzuzeigen - aber so rollt Google nicht.)
Wenn es sich um eine Seite handelt noindex, kann dies immer noch der Fall sein follow(was standardmäßig der Fall ist, sofern Sie dies nicht ausdrücklich angeben nofollow). Daher muss die Seite offensichtlich gecrawlt werden, um die folgenden Links zu ermitteln.
Muss ich dem Link ein 'nofollow'-Attribut hinzufügen, während wir diese Seiten einzigartig machen?
Dadurch wird dieser bestimmte Link einfach vom Ranking-Algorithmus abgezogen. Dieser bestimmte Link wird also nicht als Ranking-Faktor für die Ziel-URL verwendet. Ich gehe davon aus, dass es höchstwahrscheinlich auch andere eingehende Links zu dieser Seite gibt.
... Seiten haben 'noindex' angegeben und ich habe mich gefragt, ob diese Seiten immer noch als Duplikate erkannt werden?
Duplikat von was? Eine Seite kann nur dann als Duplikat betrachtet werden (in den Augen des Suchmaschinenindex), wenn sie indiziert ist. Wenn es nicht indiziert ist, kann es kein Duplikat sein.
Das "Problem" mit doppeltem Inhalt besteht darin, dass die Suchmaschine entscheiden muss, welche Seite in den SERPs zurückgegeben werden soll, wenn zwei (oder mehr) doppelte Seiten gecrawlt und indiziert wurden . Wenn Sie diesen doppelten Inhalt nicht selbst auflösen (Weiterleiten, kanonisches Tag oder einfach den Inhalt eindeutig machen), liegt dies außerhalb Ihrer Kontrolle - die Suchmaschine trifft die Entscheidung für Sie. Sie verwässern möglicherweise auch Ihr Suchranking, da Benutzer verschiedene Seiten entdecken und auf die eine oder andere Seite zurückgreifen.
Um zu verhindern, dass eine Seite gecrawlt wird (dh nicht einmal angefordert wird), können Sie einen Eintrag in Ihre robots.txtDatei aufnehmen. Dies bedeutet jedoch, dass die Suchmaschinen Ihr noindexMeta-Tag nicht sehen können . Dies sollte zwar verhindern, dass die Seite in normalen Suchergebnissen angezeigt wird, verhindert jedoch nicht unbedingt, dass die Seite in den SERPs (dh "indiziert") als Nur-Link-Ergebnis angezeigt wird, wenn sie mit verknüpft ist. Es kann jedoch immer noch nicht als "doppelt" betrachtet werden, da der Inhalt nicht gelesen und indiziert wurde .