Was passiert, wenn ich versuche, ein Cookie auf einem Bot zu setzen?

Ich baue meine Website so, dass sie einige benutzeridentifizierende Cookies enthält. Wenn sich ein Besucher anmeldet, setze ich ein Cookie mit einer eindeutigen Besucher-ID (Guid) und dem Datum und der Uhrzeit des Besuchs und speichere einen Besuchsdatensatz (einschließlich seines Benutzeragenten, Referners (falls vorhanden) usw.) Ich plane, jeden Benutzer zu überprüfen, ob er das von mir gesetzte Cookie hat, und dann jedes Mal, wenn er vorbeikommt, einen Besuchsdatensatz zu erstellen, um anzugeben, ob er auf Links auf meiner Website klickt.

Die Website ist sehr, sehr neu (bis heute nur etwa eine Woche alt), aber ich habe meine Besucher in einem Textprotokoll verfolgt und sehe, dass ich Besuchs-Bots anhand ihrer Benutzeragenten (Google- und Bing-Bots /) identifizieren kann. Crawler sind vorbeigekommen, zusammen mit ein paar anderen).

Mir fällt ein, dass sie Cookies wahrscheinlich nicht akzeptieren. Weiß jemand das sicher? Oder sammeln sie neben Site-Informationen auch Cookies?

— Cyberherbalist
quelle

Versuchen Sie, das Crawlen Ihrer Website mithilfe von Cookies einzuschränken? Bots crawlen Ihre Website immer, unabhängig davon, ob sie Cookies akzeptieren oder nicht.

— Oleg

Nein, ich versuche nichts einzuschränken. Cookies dienen lediglich dazu, festzustellen, wer zuvor auf der Website war, und zu verfolgen, was sie auf der Website tun. Ich bin nur neugierig, ob jemand weiß, ob Crawler oder Bots Cookies akzeptieren, also kann ich das vielleicht planen.

— Cyberherbalist

Ich weiß keine sichere Antwort, aber ich würde mich nicht darauf verlassen, Cookies von Bots zu akzeptieren.

— Oleg

Der Crawler von Google tut dies nicht, da er nicht möchte, dass sehr sitzungsspezifische Inhalte indiziert werden. Weitere Informationen finden Sie in diesem Blogpost: googlewebmastercentral.blogspot.co.uk/2008/03/… . Ich gehe davon aus, dass andere Suchmaschinen eine ähnliche Richtlinie haben.

— Jeremy Halliwell

Die meisten Bots akzeptieren keine Cookies (einschließlich Googlebot), einige Bots jedoch.

Sie senden einen Set-CookieHeader in der Antwort, aber der Bot sendet Cookiebei nachfolgenden Anforderungen keinen Header zurück, sodass das Cookie effektiv verloren geht. Ob Google überwacht , ob die Site Einstellung Cookies, wissen wir nicht sicher, aber ich würde wetten , sie wahrscheinlich sind. Diese Informationen werden jedoch nicht in den Suchergebnissen verwendet.

Wenn Googlebot Ihre Website besucht, ist dies so, als hätten sie sie noch nie zuvor besucht. Dies gilt für echte Nutzer, die ihre Cookies deaktiviert haben.

Lesen Sie weiter: Hält Googlebot die Sitzung beim Crawlen aufrecht?

Eine Möglichkeit, mit der Situation der Generierung einer eindeutigen Besucher-ID (Guid) umzugehen, besteht darin, ... wenn das Cookie nicht vorhanden ist (entweder ein neuer Benutzer oder das Cookie wurde aus irgendeinem Grund nicht gesetzt), versuchen Sie, ein Cookie mit zu setzen Ihre echte Guid, aber verwenden Sie einen Hash des Benutzeragenten und der IP-Adresse als Guid für die aktuelle Anforderung (die sich von der echten Guid unterscheidet). Es ist nicht perfekt (es ist nicht ganz einzigartig), aber es ermöglicht Ihnen zumindest, die Bots einfacher zu verfolgen und vermeidet vor allem das Zählen von Tausenden unwirklicher Besucher (wenn Sie sich ausschließlich auf ein Cookie verlassen, um Besucher zu zählen).

— Herr weiß
quelle