Sie stammen von Web-Scrapern , die Yahoo! Suchergebnis . Diese Entdeckung wurde von @tenants im XenForo-Forum gemacht . Sie erklären mehr über die Auswirkungen des Empfangs dieser Anfragen und wie sie damit umgehen.
1. Denken Sie, wir sollten uns mit diesen Anfragen befassen?
Sie müssen sich nicht mit diesen Anfragen befassen. Sie sind nur Markenzeichen von dummen Bots und dumme Bots wandern im ganzen Internet herum. Diese Anfragen sind nicht nur aufgrund der URL als bösartig zu identifizieren, sie sind wahrscheinlich unschuldig.
2. Was versuchen diese Anfragen zu erreichen?
Sie versuchen, den Inhalt der Seite abzurufen, die sie anfordern. Sie haben keine besondere Wirkung, sie sind (unerwünschte) Produkte eines Yahoo! Scraping suchen.
3. Können wir etwas tun, um sie aufzuhalten?
Nicht wirklich, jeder kann beliebige Anfragen ins Internet stellen . (Zumindest technisch. Soziale und rechtliche Aspekte werden beiseite gelegt.)
Sie können sie wegwerfen, wenn Sie Berichte aus Ihren Protokollen erstellen. Dies ist die Option, die ich gewählt habe.
Oder Sie können versuchen, die Anforderungen zu korrigieren, um erfolgreich zu sein, und keine Protokolleinträge generieren . Dies ist wahrscheinlich das, was die meisten von dem machen, was ich im Web gesehen habe. Ich sehe einen Fehler in diesem Ansatz. Während sie die Erfahrung ihrer Besucher verbessern, vergessen sie, wer diese Besucher sind. Dumme Bots. Ich möchte keine dummen Bots auf meinen Websites, daher werde ich mich nicht darum kümmern, ihre Erfahrung zu verbessern.
Wenn Sie die Anforderungen beheben möchten, können Sie dies mit mod-rewrite tun , möglicherweise aufgerufen von .htaccess , z. B. mit dem Code aus dem oben erwähnten XenForo-Forumsbeitrag:
RewriteEngine On
# strange behaving bots, these are urls scraped from yahoo (botters scrapping for links, yahoo search link contain RK RS) tenants modification:
RewriteRule ^(.*)RK=0/RS= /$1 [L,NC,R=301]
RewriteRule ^(.*)RS=^ /$1 [L,NC,R=301]
Möglicherweise müssen Sie ein wenig mit den regulären Ausdrücken herumspielen, z. B. nach dem, (.*)
wenn Ihre URLs nicht mit einem enden , einen zusätzlichen Schrägstrich hinzufügen .
verbunden
Ein großes Lob an die Antwort von @ dman zu Stack Overflow und den Kommentar von @webaware unter dieser Frage zum Auffinden des XenForo-Forumsbeitrags.