Was ist der beste Weg, um Bots von der Anzahl der Aufrufe auszuschließen?

Meine Website zählt die Besucheraufrufe auf bestimmten Seiten. Ich habe festgestellt, dass Google und andere Bots wie verrückt auf meine Website "klicken" und einige der Seiten unrealistische Aufrufe erhalten (im Vergleich zu denen, die von Menschen erstellt wurden).

Ich bitte um bewährte Methoden, um diese Bots aus meiner Sicht auszuschließen. Offensichtlich wird ein einfacher "Benutzeragent", der "Bot" enthält, dies nicht tun.

Ich glaube nicht, dass es eine kugelsichere Lösung gibt, noch brauche ich eine.

Hinweis: Ich verwende PHP + MySQL.

Ich bin froh, dass Sie wissen, dass es keinen kugelsicheren Weg gibt, dies zu erreichen. Das heißt, Ihr Ausblick ist zumindest realistisch.

Da JavaScript keine Option ist, würde ich sagen, dass Sie Folgendes haben:

• Überprüfen Sie den Benutzeragenten auf das Wort "Bot". Das wird die meisten von ihnen fangen.

• Stellen Sie eine Liste bekannter Bots zusammen und filtern Sie sie basierend auf einer eindeutigen Kennung, wahrscheinlich ihrem Benutzeragenten.

• Fügen Sie in der Fußzeile Ihrer Website einen versteckten Link ein, der auf eine Seite verweist, auf der Benutzeragenten und / oder IP-Adressen erfasst werden. Benutzer werden dies nicht sehen, Bots jedoch. Jeder, der diese Seite besucht, wird ein Bot sein. Nimm sie auf und blockiere sie dann aus deinen Statistiken.

Es gibt drei ziemlich einfache Möglichkeiten:

1. Verwenden Sie Google Analytics, das alle Daten für Sie verarbeitet und verarbeitet und Ihnen detaillierte Statistiken für Besucher und deren Zugriff auf Ihre Website präsentiert. Dies ist bei weitem die einfachste Lösung.
2. Verwenden Sie Javascript, um zu zählen. Wenn die Seite geladen wurde, generieren Sie eine AJAX-Anforderung an Ihr Zählskript. Roboter und Spinnen führen kein Javascript aus.
3. Das Erkennen von "Bot" in der Zeichenfolge des Benutzeragenten ist tatsächlich ziemlich zuverlässig. Alternativ können Sie sich nur an bekannte Bots wie Googlebot, Yahoo, MSNbot usw. halten. Wenn Sie diese drei Bots überprüfen, sollten 99% Ihres Bot-Verkehrs abgedeckt sein. Diese Seite hat einige andere, aber sie sieht ziemlich veraltet aus.

UPDATE: Googlebot und einige große Bots führen heutzutage JavaScript aus. Die alleinige Verwendung von Option 2 ist also nicht mehr möglich. Dies bedeutet jedoch, dass die Verwendung in Verbindung mit # 3 sehr zuverlässig sein sollte, da Sie die meisten Bots mithilfe von JS leicht ausschließen und dann auf der Serverseite wichtige Bots wie Googlebot ausschließen können, auf denen JS ausgeführt wird.

Wie in den Kommentaren erwähnt, können Sie auch versuchen, mithilfe der Google Analytics-API Ansichten für jede Seite anzuzeigen.

Wenn Sie Javascript verwenden, um Ansichten zu zählen, werden die meisten Bots es nicht ausführen und daher nicht in Ihre Ansichtszählungen einbezogen. Diese Antwort entspricht möglicherweise genau dem, was Sie möchten: /programming/1973448/how-can-i-count-a-page-views

Mein Ansatz umfasst zwei Durchgänge:

1. Filtern Sie nur Webbrowser und Konsolen, indem Sie den Anfang der Benutzeragentenzeichenfolge mit abgleichen Mozilla|Opera|PSP|Bunjalloo|wii. Dank des Spoofing des Benutzeragenten erkennt diese Überprüfung fast alle Browser
2. Bots durch gemeinsame Stoppzeichenfolgen ausschließen bot|crawl|slurp|spider

Wenn also der erste Schritt bestanden ist, gehen wir davon aus, dass es sich um einen Browser handelt und sich ein echter Besucher dahinter befindet. Wie ich jedoch herausgefunden habe, geben einige Bots vor, Mozillakompatibel zu sein , und starten ihre Benutzeragentenzeichenfolge damit. Deshalb könnte der zweite Durchgang nützlich sein und sie beseitigen.

function isBrowser () {

    return preg_match( '/^(Mozilla|Opera|PSP|Bunjalloo|wii)/i', $_SERVER['HTTP_USER_AGENT'] ) && !preg_match( '/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT'] );
}

Ich verwende nur den einfachen Parsing-Ausschluss für Benutzeragenten. 99% der Bots, die auf meine Seiten gelangen, werden entfernt.

SELECT * FROM `live_visitors` where (
lower(agent) != '%bot%' and
lower(agent) != '%slurp%' and
lower(agent) != '%spider%' and
lower(agent) != '%crawl%' and
lower(agent) != '%archiver%' and
lower(agent) != '%facebook%')

Sie können ein Bild als Zähler verwenden. In diesem Fall werden keine Bots gezählt und der Seitenname wird als Abfrage mit dem Bildnamen übergeben

Ich benutze dies bei img.php, um die Seitenansicht in der Datenbank zu aktualisieren:

<?php
$xnt = $_GET["ID"]; if (isset($xnt) && is_numeric($xnt)) {
$DBServer = "localhost"; $DBUser = "xxx"; $DBPass = "xxx"; $DBaze = "xxx";
$conn = mysqli_connect($DBServer, $DBUser, $DBPass, $DBaze); 
mysqli_query($conn, "UPDATE stats SET stats_vz=stats_vz+1 WHERE stats_id=".$xnt);
mysqli_close($conn);}
$im = @imagecreatetruecolor(1, 1); imagesavealpha($im, true); imagealphablending($im, false); $white = imagecolorallocatealpha($im, 255, 255, 255, 127); imagefill($im, 0, 0, $white);
header("Content-type: image/png"); imagepng($im); imagedestroy($im);