Sollte ich Bots von meiner Website blockieren und warum?

Meine Logbücher sind voll von Bot-Besuchern, oft aus Osteuropa und China. Die Bots werden als Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou usw. identifiziert. Soll ich diese Bots von meiner Website aus blockieren und warum?

Welche haben einen legitimen Zweck, um den Traffic auf meiner Site zu erhöhen? Viele von ihnen sind SEO.

Ich muss sagen, dass ich weniger Verkehr sehe , wenn überhaupt, da die Bots in großer Zahl angekommen sind.

Es wäre nicht allzu schwer, diese zu blockieren, da alle in ihrem User Agent zugeben, dass sie Bots sind.

Sie können Bots blockieren, aber es hängt davon ab, was Sie für Ihre Website wollen.

Sie können Suchmaschinen-Bots blockieren, wenn Ihre Website nicht in einer bestimmten Suchmaschine indiziert werden soll.
Beispiel: Yandex ist eine russische Suchmaschine. Sie können den Bot blockieren, wenn Ihr Unternehmen nicht auf Russland abzielt.

Sie können SEO-Bots blockieren, wenn Sie ihre Webanalyse-Lösung nicht verwenden möchten.
Beispiel: Ahrefs ist eine Webanalyse-Lösung. Sie können den Bot blockieren, wenn Sie diese Webanalyse-Lösung nicht verwenden.

Grund zum Blockieren von Bots:

• weniger Roboter gehen auf Ihre Website, und echte Besucher erhalten mehr Bandbreite
• seien Sie sicher gegen Malware-Bots
• Protokollgröße

Grund, Bots nicht zu blockieren:

• Bots wie Suchmaschinen-Bots können Ihren Traffic erhöhen, indem sie Ihre Website indizieren.

Sie können mehr über Bots erfahren, indem Sie die FAQ von robotstxt.org lesen .

Wenn Sie festlegen möchten, dass mehrere Roboter blockiert werden sollen, können Sie sich auf dieser Website von robots.txt inspirieren lassen .

Seien Sie vorsichtig, einige Bots können robots.txt ignorieren . Weitere Informationen finden Sie hier .

Fazit : Sie können die Internet-Roboterfunktion durchsuchen, um festzustellen, ob das Blockieren nützlich sein kann.

Während der Versuch, Bots zu blockieren, dazu beitragen kann, Ressourcen freizugeben und Ihre Protokolle zu bereinigen, ist es wichtig zu beachten, dass robots.txt und sogar die Verwendung des Metatags auf Seiten von noindex den Bots-Besuch auf Ihrer Website nicht stoppen. Sie können immer noch gelegentlich Ihre Site crawlen, um festzustellen, ob die von Robotern abgelehnte entfernt wurde. Viele Bots verwenden nicht einmal einen Benutzeragenten und verwenden einen Standardbenutzeragenten. Die Bots, auf die ich mich beziehe, sind in der Regel SEO-Harvesting-Bots, die nach Backlinks suchen und nicht die allgemeinen, die Sie von Suchmaschinen finden.

Anstatt die Bots zu blockieren, sollten Sie diese Bots nur berücksichtigen, wenn Sie Ihre Besucher zählen. Nach einer Weile der aktiven Überwachung Ihrer Website stellen Sie eine grobe Zahl fest, die Bots sind. Die meisten Leute kümmern sich um einmalige Besuche und dies schließt die Bots aus, da sie ständig zurückkehren. In der heutigen Zeit gibt es eine Vielzahl von Servern und Shared Hosting, die diese Bots verarbeiten können. Abgesehen von Seiten, die Sie nicht indizieren möchten, gibt es keinen Grund, diese Bots zu blockieren. Natürlich haben Sie auch schädliche Bots, aber diese werden den User Agent auf keinen Fall verwenden;).

Persönlich halte ich das Blockieren von Robotern für Zeitverschwendung, da sie überhaupt nicht so viel Ressourcen verbrauchen. SEO-Roboter können dabei helfen, indem sie Ihre Website auf PR0-Seiten auflisten, was natürlich Ihren PageRank erhöht und dort automatisiert, sodass Sie nicht bestraft werden von ihnen.

Logs Issue

Sie sollten einen geeigneten Protokoll-Viewer verwenden, mit dem Sie bestimmte Anforderungen herausfiltern können. Dies erleichtert das Überprüfen Ihrer Protokolle. Gute Zuschauer können viele Dinge wie normale Besuche, 404s und so weiter herausfiltern.