Als «user-agent» getaggte Fragen

Ein http-Header-Feld, das den Browser und das Betriebssystem identifiziert.

4
Ist die Yahoo-Suche jetzt die gleiche wie die Bing-Suche?
Wir hatten in der Vergangenheit einige schwerwiegende Probleme mit der (unglaublich) schlecht geschriebenen Spinne von Yahoo und haben sie daher blockiert. Marco Arment von Tumblr teilte uns am 31.08.2009 auch seine Frustrationen mit, was ein Faktor dafür war, dass wir sie blockierten. [Yahoo's Spider] hat uns seit ungefähr 5:30 EST …
3
Welchen User Agent soll ich einstellen?
Es gibt Ask bot, der diesen Header setzt: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) In Anbetracht dessen habe ich folgende Fragen: Welchen User Agent soll ich verwenden, wenn ich einen Webcrawler namens Goofy schreibe? Was ist der Unterschied wenn ich Mozilla/2.0oder lege Mozilla/5.0? Weitere Vorschläge zur Formatierung meines User Agents gemäß den …
2
Sollte ich Bots von meiner Website blockieren und warum?
Meine Logbücher sind voll von Bot-Besuchern, oft aus Osteuropa und China. Die Bots werden als Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou usw. identifiziert. Soll ich diese Bots von meiner Website aus blockieren und warum? Welche haben einen legitimen Zweck, um den Traffic auf meiner Site zu erhöhen? Viele von ihnen sind …
4
Interpretation des leeren User-Agenten
Wie soll ich einen leeren User-Agent interpretieren? Ich habe einen benutzerdefinierten Analysecode und dieser Code muss nur den Datenverkehr von Personen analysieren. Ich habe eine Arbeitsliste mit Benutzeragenten, die den menschlichen Verkehr und den Bot-Verkehr anzeigen, aber der leere Benutzeragent erweist sich als problematisch. Und ich bekomme mit dem leeren …
3
Enthält der Benutzeragent in einem normalen Browser "Bot" oder "Crawlen"?
Enthält der Benutzeragent in einem normalen Browser "Bot" oder "Crawlen"? Ich überprüfe den Benutzeragenten auf meiner Website, um festzustellen, ob er von einem Bot stammt oder nicht. Wenn ja, kann ich einige kleine Optimierungen vornehmen, da sie sich nicht anmelden. (Ich ändere den Inhalt überhaupt nicht) Nachdem ich Schecks für …
11 user-agent 
1
Kombinieren Sie Benutzeragenten in robots.txt
Können Benutzeragenten zusammen aufgelistet werden, gefolgt von ihren allgemeinen Regeln wie in einer robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/
2
Pluszeichen vor URLs in Benutzeragenten
Ich habe einen kleinen Webcrawler ausgeführt und musste mich entscheiden, welchen Benutzeragenten ich dafür verwenden soll. Listen von Crawler-Agenten sowie Wikipedia schlagen das folgende Format vor: examplebot/1.2 (+http://www.example.com/bot.html) Einige Bots lassen jedoch das Pluszeichen vor der URL weg. Und ich frage mich, was es überhaupt bedeutet, konnte aber keine Erklärung …
3
Taktiken für den Umgang mit sich schlecht benehmenden Robotern
Ich habe eine Website, die aus regulatorischen Gründen möglicherweise nicht automatisch indiziert oder durchsucht wird. Dies bedeutet, dass wir alle Roboter fernhalten und verhindern müssen, dass sie die Site spinnen. Offensichtlich hatten wir eine robots.txt-Datei, die von Anfang an nicht erlaubt ist. Das Beobachten der robots.txt-Datei ist jedoch etwas, was …
4
User-Agent mit Base64-codierter Komponente?
(Kopfgeldfrage unten) Ich habe ein Problem mit einem Client, der auf unsere Website zugreift, und die Hauptursache ist, dass die WAF (Web Application Firewall) ihre User-Agent-Zeichenfolge nicht mag: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0; C7QcSBPWTsrpX5YLvVZMqiujEZLWPtOYk3tDZ9WhW18=) Gecko/20100101 Firefox/34.0 In diesem Fall löst die base64-codierte Zeichenfolge in der WAF ein falsches Positiv …
4
Handyerkennung (Marke, Modell, Browser usw.)
Womit erkennen Sie das Mobiltelefon des Besuchers, wenn möglich bis zum Modell? Gegenwärtig pflegen wir unsere eigene Datenbank, die jedoch aufgrund des Mangels an Arbeitskräften für die Wartung wirklich ins Hintertreffen gerät. Daher haben wir uns entschlossen, eine Lösung von Drittanbietern auszuprobieren. Dies sind meine Kandidaten, aber ich habe keine …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.