Ich verwende seit Jahren die folgende Zeile auf <head>meinen Websites:
<meta name="revisit-after" content="3 days" />
Ich habe kürzlich herausgefunden, dass es sich nicht um eines der Meta-Tags handelt , die Google versteht. Ich meine, dass es sinnlos ist, es einzuschließen, und dass es seit Jahren überhaupt nichts Gutes tut.
Wie oft crawlen Suchmaschinen standardmäßig eine Website und auf welche zuverlässige Weise kann diese Häufigkeit erhöht oder verringert werden?
Antworten:
In den Google Webmaster-Tools können Sie steuern, wie schnell Google Ihre Website crawlt .
Die Crawling-Rate für Ihre Website bestimmt die Zeit, die Googlebot verwendet, um Ihre Website bei jedem Besuch zu crawlen. Unser Ziel ist es, Ihre Website gründlich zu crawlen (damit Ihre Seiten indiziert und in Suchergebnissen angezeigt werden können!), Ohne die Bandbreite Ihres Servers spürbar zu beeinträchtigen. Während die meisten Webmaster mit der Standardeinstellung für das Crawlen zufrieden sind (dh, es sind keine Änderungen erforderlich, mehr dazu weiter unten), haben einige Webmaster möglicherweise spezifischere Anforderungen.
Der Googlebot verwendet ausgefeilte Algorithmen, die bestimmen, wie oft die von ihm besuchten Websites gecrawlt werden. Für die überwiegende Mehrheit der Websites ist es wahrscheinlich am besten, die Option "Google ermittelt meine Crawling-Rate" zu wählen. Dies ist die Standardeinstellung. Wenn Sie jedoch ein erfahrener Benutzer sind oder Probleme mit der Bandbreite Ihres Servers haben, können Sie die Crawling-Geschwindigkeit an die für Ihre Webserver optimale Geschwindigkeit anpassen. Mit der benutzerdefinierten Durchforstungsrate können Sie Googlebot Einblick in die maximale Anzahl von Anfragen pro Sekunde und die Anzahl von Sekunden zwischen Anfragen gewähren, die Sie für Ihre Umgebung für am besten halten.
Der Googlebot bestimmt den Bereich der Werte für die Crawling-Rate, der in den Webmaster-Tools verfügbar ist. Dies basiert auf unserem Verständnis der Funktionen Ihres Servers. Dieser Bereich kann von Standort zu Standort und im Laufe der Zeit aufgrund verschiedener Faktoren variieren. Wenn Sie die Durchforstungsrate auf einen niedrigeren Wert als den Standardwert festlegen, kann sich dies auf die Abdeckung und Aktualität Ihrer Website in den Suchergebnissen von Google auswirken. Wenn Sie jedoch einen höheren Wert als den Standardwert festlegen, wird Ihre Abdeckung oder Ihr Ranking nicht verbessert. Wenn Sie eine benutzerdefinierte Crawling-Rate festlegen, bleibt die neue Rate 90 Tage lang gültig. Danach wird sie auf den von Google empfohlenen Wert zurückgesetzt.
Sie können diese Einstellung nur für Websites auf Stammebene und für Websites verwenden, die nicht in einer großen Domain wie blogspot.com gehostet werden (wir haben spezielle Einstellungen für sie zugewiesen). Melden Sie sich bei den Webmaster-Tools an und rufen Sie die Registerkarte "Einstellungen" auf, um die Einstellung für die Crawling-Rate zu überprüfen. Wenn Sie weitere Fragen haben, besuchen Sie die Webmaster-Hilfe, um mehr darüber zu erfahren, wie Google Ihre Website crawlt, oder veröffentlichen Sie Ihre Fragen im Webmaster-Hilfeforum.
Andernfalls müssten Sie wahrscheinlich ein eigenes Filtersystem erstellen, das die Benutzeragenten aufspürt und Suchmaschinen-Bots zulässt oder ablehnt, die auf den Benutzeragenten basieren. Dies würde sich jedoch nur auf die Verringerung der Häufigkeit auswirken.
Um den zweiten Teil Ihrer Frage zu beantworten, können Sie Google mithilfe der Webmaster-Tools mitteilen
So ändern Sie die Durchforstungsrate:
Klicken Sie auf der Homepage der Webmaster-Tools auf die gewünschte Website.
Klicken Sie unter Site configuration auf Settings.
Wählen Sie im Abschnitt Crawl rate die gewünschte Option aus.
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=de
In den Bing-FAQ wird auf diesen Beitrag verwiesen, Crawl-Delay: Xin dem empfohlen wird, festzulegen, in wie vielen Sekunden x zwischen den einzelnen Anforderungen gewartet werden soll.
Natürlich geben Sitemaps an, wie oft sich die Seiten ändern.