Robots.txt - CSS erlauben oder verbieten

Sind CSS und Templates in robots.txt erlaubt ?

Sollte es irgendwelche Probleme verursachen?

In Joomla sind CSS und Templates in der robots.txt nicht erlaubt . Bitte helfen Sie mir, eine Lösung dafür zu finden, ob Roboter für CSS, Vorlagen usw. für meine kommenden Websites verboten sind oder nicht.

css robots.txt

— Manju George
quelle

Ich glaube nicht, dass Joomla diese Dateien standardmäßig blockiert.

— MrWhite

Antworten:

Google hat vor kurzem seine Richtlinien aktualisiert und offiziell festgelegt, dass der Zugriff auf CSS- oder JS-Dateien in robots.txt nicht blockiert werden darf . Auf diese Weise wird sichergestellt, dass Google die Website beim Crawlen genau so rendern kann, wie es ein Browser tun würde.

Wenn Sie CSS- oder JS-Dateien blockieren, kann dies die Leistung Ihrer Website im Ranking beeinträchtigen.

Weitere Informationen finden Sie hier: Aktualisierung unserer technischen Richtlinien für Webmaster und hier: Richtlinien für Webmaster

Da dies eine aktuelle Empfehlung ist, werden auf vielen Websites und CMS (wie Joomla) solche Dateien häufig in robots.txt blockiert . Der Grund dafür war in der Regel, dass Suchmaschinen diese Dateien nicht crawlen oder indizieren mussten. Um zu verhindern, dass unnötige Dateien und Verzeichnisse indiziert werden, und um das Crawling-Budget zu sparen, wurden diese häufig in robots.txt blockiert .

— Max
quelle

Google hat eigentlich schon seit geraumer Zeit gesagt, dass Sie JS und CSS (Matt Cutts Video von März 2012) nicht blockieren sollten, da dies die Fähigkeit von G beeinträchtigen könnte, Ihre Website zu crawlen. Es ist nur so, dass sie in letzter Zeit "offizieller" gemacht wurde.

— MrWhite

Es wurde empfohlen, CSS und JS nicht länger als ein Jahrzehnt zu blockieren. Ich weiß, dass das Rendern durch Suchmaschinen neu erscheint, aber es ist nicht so und einige Formen des Renderns, einschließlich einfacher JS, gibt es schon seit sehr langer Zeit.

— Closetnoc

Zusätzlicher Hinweis (etwas verwandt, da er häufig mit JS verwendet wird) - In Bezug auf alle Controller, die eine Route über theme / view / JSON / URi zugänglich machen - sollten Sie diese blockieren, oder Sie müssen möglicherweise nicht thematisierte Bereiche indexieren, anstatt die Seite mithilfe von said zu verwenden Datenfacette. Dies ist ein Bereich von "view", der zum Blockieren gültig ist, insbesondere von Dingen, die JS wie JSON verwendet. Häufig führt G die JS aus, zeigt den JSON-Link an und besucht ihn. Verursacht Fehler oder wenn es thematisiert, einen halb erstellten Index. Das ist ein ganz neuer Can-o-Wurm, aber sei dir nur bewusst.

— Dhaupin

Ich fühlte mich gezwungen, meine starke Ablehnung der Frachtkult-Haltung auszudrücken, die wir, was immer Google sagt, tun müssen. Google sagt auch, dass Ihre Website einen höheren Rang hat, wenn Sie ihnen erlauben, Bilder zu crawlen, HTTPS zu verwenden usw. Indem Sie alles, was Google sagt, einhalten, geben Sie ihnen einfach mehr Kraft, um größere Anforderungen zu erfüllen. Bauen Sie am Ende des Tages Ihre Website für Menschen oder Roboter?

— Fragenüberlauf

Es hängt davon ab, wie sehr Sie sich auf gute Platzierungen in Google verlassen. Obwohl wie die meisten Dinge, ist es nur ein kleiner Indikator für eine große Anzahl von Faktoren, die sie haben. Wie Sie bereits erwähnt haben, haben sie kürzlich gesagt, HTTP sei ein kleiner Ranking-Faktor, aber ich habe keine der 100 Websites, an denen ich arbeite, auf HTTP umgestellt, und ihre Rankings sind in Ordnung.

— Max

Die Strategie für Ihre robots.txt sollte immer mit der Frage beantwortet werden, welche Abschnitte meines Webs nicht von einem Roboter gecrawlt werden dürfen und welche Abschnitte von einem Roboter gecrawlt werden dürfen .

Roboter implementieren ihre eigene Logik und haben mehrere Zwecke (nicht nur Google hat einen Crawler ...). Wenn Sie also davon ausgehen, dass ein Roboter von Ihren CSS- und JS-Dateien abgelenkt wird, öffnen Sie die Blackbox des Roboters und nehmen an, was Die aktuelle Implementierung und die aktuelle Absicht des Roboters ist. Dies ist keine nützliche langfristige Strategie.

Anstatt in der Domäne des Roboters zu denken, versuchen Sie, in der Inhaltsdomäne Ihres Webs zu denken.

Ich möchte darauf hinweisen, dass eine robots.txt- Datei kein Sicherheitsmechanismus ist.

— Saintedlama
quelle

Vorlagen werden von der Blogging- oder Content-Management-Software (CMS) verwendet und sollten nicht extern zugänglich sein, da CSS vom Browser und den Suchmaschinen gelesen und gelesen werden sollte. Abgesehen davon würde ich keines von beiden blockieren, aber ich würde auch keines ändern, das vom CMS stammt. Suchmaschinen und Bots interessieren sich nicht für Ihre Vorlagen. Blockieren Sie einfach den Zugriff auf Ihre Website über URL / URI, die Sie nicht indizieren oder lesen möchten, aber betrachten Sie robots.txt nicht als Sicherheitstool. Es ist nicht dafür ausgelegt.

— closetnoc
quelle