Ich verwende Apache 2 und ein großer Teil unserer Seitenaufrufe stammt von Bots. Die meisten davon sind legitime wie Google und Bing.
Ich möchte die Protokolle analysieren und genaue Statistiken darüber erhalten, wie viele menschliche Besucher ich habe. Daher habe ich robots.txt vorübergehend aktualisiert, um Bots auf allen Seiten zu sperren. Ich weiß, dass dies nur teilweise wirksam ist, um den Bot-Zugriff zu verhindern, aber ich bin damit einverstanden.
Wie wirkt sich das Nichtzulassen von Bots auf Benutzer aus, die nach dieser Site suchen? Verhindert es, dass Nutzer die Seite bei Google finden?