Massiver 404-Angriff mit nicht vorhandenen URLs. Wie kann man das verhindern?

Das Problem ist eine ganze Menge von 404-Fehlern, wie von Google Webmaster-Tools gemeldet, mit Seiten und Abfragen, die noch nie da waren. Eine davon ist viewtopic.php, und ich habe auch eine beängstigende Anzahl von Versuchen bemerkt, zu überprüfen, ob es sich bei der Site um eine WordPress-Site ( wp_admin) handelt, und sich beim cPanel anzumelden. Ich blockiere TRACE bereits und der Server ist mit einer gewissen Verteidigung gegen Scannen / Hacken ausgestattet. Dies scheint jedoch nicht zu stoppen. Der Referrer ist laut Google Webmaster totally.me.

Ich habe nach einer Lösung gesucht, um dies zu stoppen, denn sie ist sicherlich nicht gut für die armen realen Benutzer, geschweige denn für die SEO-Probleme.

Ich verwende die Mini-Blacklist von Perishable Press ( hier zu finden ), einen Standard-Referrer-Blocker (für Porno-, Kräuter-, Casino-Websites) und sogar einige Software zum Schutz der Website (XSS-Blockierung, SQL-Injection usw.). Der Server verwendet auch andere Maßnahmen, sodass davon ausgegangen werden kann, dass die Site sicher ist (hoffentlich), sie jedoch nicht endet.

Hat sonst noch jemand das gleiche Problem, oder bin ich der einzige, der das sieht? Ist es das, was ich denke, also eine Art Angriff? Gibt es eine Möglichkeit, das Problem zu beheben oder besser, diese unnütze Verschwendung von Ressourcen zu verhindern?

BEARBEITEN Ich habe die Frage noch nie benutzt, um mich für die Antworten zu bedanken, und hoffe, dass dies möglich ist. Ich danke Ihnen allen für Ihre aufschlussreichen Antworten, die mir geholfen haben, einen Ausweg zu finden. Ich bin allen Vorschlägen gefolgt und habe Folgendes umgesetzt:

• ein Honigtopf
• Ein Skript, das auf verdächtige URLs auf der 404-Seite hört und mir eine E-Mail mit User Agent / IP sendet, während ein Standard-404-Header zurückgegeben wird
• Ein Skript, das legitime Benutzer auf derselben benutzerdefinierten 404-Seite für den Fall belohnt, dass sie auf eine dieser URLs klicken. In weniger als 24 Stunden konnte ich einige verdächtige IP-Adressen, die alle in Spamhaus aufgelistet sind, isolieren. Alle bisher protokollierten IPs gehören Spam-VPS-Hosting-Unternehmen.

Nochmals vielen Dank, ich hätte alle Antworten akzeptiert, wenn ich könnte.

Ich sehe oft eine andere Site, die auf Tonnen von Seiten auf meiner Site verweist, die nicht existieren. Auch wenn Sie auf diese Seite klicken und den Link nicht sehen:

• Möglicherweise hatte die Site zuvor diese Links
• Die Website verbirgt sich möglicherweise und stellt diese Links nur für Googlebot und nicht für Besucher bereit

Es ist eine Verschwendung von Ressourcen, aber es wird Google nicht verwirren und Ihre Platzierungen nicht beeinträchtigen. Dies ist, was Googles John Mueller (der an den Webmaster-Tools und Sitemaps arbeitet) zu 404-Fehlern sagt, die in den Webmaster-Tools auftreten :

HILFE! MEINE WEBSITE HAT 939 CRAWL-FEHLER !! 1

Ich sehe diese Art von Fragen mehrmals pro Woche. Sie sind nicht allein - viele Websites weisen Crawling-Fehler auf.

1. 404-Fehler bei ungültigen URLs schaden in keiner Weise der Indizierung oder dem Ranking Ihrer Website . Es spielt keine Rolle, ob es 100 oder 10 Millionen gibt, sie schaden dem Ranking Ihrer Website nicht. http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. In einigen Fällen können Crawling-Fehler von einem legitimen strukturellen Problem innerhalb Ihrer Website oder Ihres CMS herrühren. Wie sagst du es? Überprüfen Sie den Ursprung des Durchforstungsfehlers. Wenn auf Ihrer Website ein fehlerhafter Link im statischen HTML-Code Ihrer Seite vorhanden ist, lohnt es sich immer, diesen zu beheben. (danke + Martino Mosna )
3. Was ist mit den funky URLs, die "deutlich kaputt" sind? Wenn unsere Algorithmen wie Ihre Website versuchen, mehr großartigen Inhalt darauf zu finden, indem sie beispielsweise versuchen, neue URLs in JavaScript zu entdecken. Wenn wir diese "URLs" ausprobieren und einen 404 finden, ist das großartig und wird erwartet. Wir möchten einfach nichts Wichtiges verpassen (fügen Sie hier ein übermäßiges Googlebot-Mem ein). http://support.google.com/webmasters/bin/answer.py?answer=1154698
4. Sie müssen Crawling-Fehler in den Webmaster-Tools nicht beheben. Die Funktion „Als fest markiert“ soll Ihnen nur helfen, wenn Sie Ihren Fortschritt dort verfolgen möchten. Es ändert nichts in unserer Web-Such-Pipeline. Sie können es ignorieren, wenn Sie es nicht benötigen. http://support.google.com/webmasters/bin/answer.py?answer=2467403
5. Wir listen Crawling-Fehler in den Webmaster-Tools nach Priorität auf, was auf mehreren Faktoren beruht. Wenn die erste Seite mit Durchforstungsfehlern eindeutig irrelevant ist, werden Sie auf weiteren Seiten wahrscheinlich keine wichtigen Durchforstungsfehler finden. http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. Es ist nicht erforderlich, Crawling-Fehler auf Ihrer Website zu beheben. 404 zu finden ist normal und wird von einer gesunden, gut konfigurierten Website erwartet. Wenn Sie über eine gleichwertige neue URL verfügen, empfiehlt es sich, diese umzuleiten. Andernfalls sollten Sie keine gefälschten Inhalte erstellen, nicht zu Ihrer Startseite umleiten, und robots.txt sollte diese URLs nicht verbieten - all diese Dinge erschweren es uns, die Struktur Ihrer Website zu erkennen und ordnungsgemäß zu verarbeiten. Wir nennen diese "weichen 404" -Fehler. http://support.google.com/webmasters/bin/answer.py?answer=181708
7. Offensichtlich sollten Sie sofort Maßnahmen ergreifen, wenn diese Durchforstungsfehler für URLs angezeigt werden, die Sie interessieren, z. B. für URLs in Ihrer Sitemap-Datei. Wenn der Googlebot Ihre wichtigen URLs nicht crawlen kann, werden sie möglicherweise aus unseren Suchergebnissen entfernt und Nutzer können möglicherweise auch nicht auf sie zugreifen.

Es gibt Unmengen von Skripten, die zufällige IP-Adressen im Internet auf Schwachstellen untersuchen, die in verschiedenen Arten von Software bekannt sind. In 99,99% der Fälle finden sie nichts (wie auf Ihrer Website) und in 0,01% der Fälle pwnt das Skript den Computer und macht, was der Skript-Controller will. In der Regel werden diese Skripte von anonymen Botnetzen von Computern ausgeführt, die zuvor pwnd waren, und nicht vom tatsächlichen Computer des ursprünglichen Skriptkiddies.

Was sollte man tun?

1. Stellen Sie sicher, dass Ihre Website nicht anfällig ist. Dies erfordert ständige Wachsamkeit.
2. Wenn dies zu einer so hohen Auslastung führt, dass die normale Standortleistung beeinträchtigt wird, fügen Sie eine IP-basierte Sperrregel hinzu, um zu vermeiden, dass Verbindungen von einem bestimmten Standort akzeptiert werden.
3. Erfahren Sie, wie Sie beim Durchsuchen Ihrer Serverprotokolle nach CMD.EXE oder cPanel oder phpMyAdmin oder einer Vielzahl anderer Sicherheitslücken suchen.

Sie scheinen zu glauben, dass jeder von Ihrem Server an Dritte zurückgegebene 404-Code die Meinung von Google zu Ihrer Website beeinflusst. Das ist nicht wahr. Nur 404-Werte, die von Google-Crawlern und möglicherweise Chrome-Nutzern zurückgegeben werden, wirken sich auf Ihre Website aus. Solange es sich bei allen Links auf Ihrer Website um ordnungsgemäße Links handelt und Sie keine Links für ungültig erklären, die Sie zuvor der Welt gezeigt haben, werden Sie keine Auswirkungen feststellen. Die Skript-Bots sprechen in keiner Weise mit Google.

Wenn Sie wirklich angegriffen werden, müssen Sie sich für eine Art DoS-Mitigation-Provider-Service anmelden. Verisign, Neustar, CloudFlare und Prolexic sind Anbieter, die verschiedene Pläne für verschiedene Arten von Angriffen haben - vom einfachen Web-Proxying (das bei manchen Anbietern sogar kostenlos sein kann) über DNS-basierte On-Demand-Filterung bis hin zum vollständigen BGP basierte Point-of-Presence-Swings, die den gesamten Datenverkehr durch "Scrubbing" -Rechenzentren mit Regeln senden, die Angriffe abschwächen.

Aber es klingt nach dem, was Sie sagen, dass Sie nur die normalen Schwachstellenskripte sehen, die jede IP im Internet sieht, wenn sie auf Port 80 lauscht. Sie können buchstäblich einen neuen Computer einrichten, einen leeren Apache starten, Innerhalb weniger Stunden werden diese Zeilen im Zugriffsprotokoll angezeigt.

Dies ist wahrscheinlich kein Angriff, sondern ein Scan oder eine Untersuchung.

Je nach Scanner / Prober kann es harmlos sein, dh es wird nur nach Problemen mit einer bestimmten Art von Forschungskapazität gesucht, oder es kann eine Funktion zum automatischen Angriff haben, wenn eine Öffnung gefunden wird.

Webbrowser geben gültige Referrer-Informationen an, aber andere Programme können einfach jeden Referrer ausmachen, den sie möchten.

Der Referrer ist lediglich eine Information, die optional von Programmen bereitgestellt wird, die auf Ihre Website zugreifen. Es kann alles sein, was sie wählen, um es auf totally.meoder zu setzenrandom.yu . Es kann sogar eine echte Website sein, die sie gerade ausgewählt haben.

Sie können dies nicht wirklich beheben oder verhindern. Wenn Sie versucht haben, jede Anforderung dieses Typs zu blockieren, müssen Sie am Ende eine sehr große Liste führen, die sich nicht lohnt.

Solange Ihr Host mit Patches Schritt hält und Schwachstellen verhindert, sollte dies keine tatsächlichen Probleme verursachen.

In der Tat klingt es nach Bot-Raserei. Tausende von IPs auf vielen Hosts haben uns ebenfalls beeindruckt, höchstwahrscheinlich ohne Kenntnis des Site-OP. Bevor ich einige hilfreiche Lösungen anbiete, ist eine meiner Fragen:

F: Wie sehen Sie 404-Werte von Ihrer Website insgesamt in den Google Webmaster-Tools? GWT ist die Ausgabe von Googlebots-Ergebnissen, nicht die Ausgabe anderer Bots. Außerdem führen diese anderen Bots JS for Analytics nicht aus. Haben Sie eine Art API, die zu GWT geht, wo Sie Ihre Serverstatistiken sehen können? Wenn nicht, kann dies zu einem Alarm führen, da der googlebot selbst Fehler findet.

• Wenn dies NUR Googlebot-Fehler sind, könnte dies darauf hinweisen, dass jemand Links zu Ihrer Website in Foren und für Ziele von böswilligen Real-Human-PC-Bots gesetzt hat. Stellen Sie sich vor, harverstor + planter läuft auf einem ausgenutzten Server und richtet eine Menge Ziele für zukünftige "Spam-Verträge" ein, durch die portiert werden soll.

• Wenn Sie in der Tat wissen, dass Ihre vollständigen Serverstatistiken gemeldet werden, benötigen Sie einige Tools. Ein paar Apps und Dienste können Ihnen dabei helfen, es zu reduzieren. Angenommen, Sie betreiben einen Linux-Server:

1) Beginnen Sie mit dem Hinzufügen von anstößigen IPs zu einer htaccess-Blacklist. Es sieht aus wie "verweigern von 192.168.1.1" und wird ihnen 403 verboten. Lassen Sie sich nicht mitreißen, sondern blockieren Sie die Biggens. Überprüfen Sie sie anhand der Sites in Schritt 4), um sicherzustellen, dass es sich nicht um echte Internetdienstanbieter handelt. Sie können diese Datei kopieren und sie auch über die Firewall hinaus auf jedes Konto / App kleben.

2) Installieren Sie APF. Es ist wirklich einfach, die Firewall über SSH unter Linux zu verwalten. Fügen Sie sie wie folgt in APF hinzu: "apf -d 192.168.1.1". Ht scheint wegen APF überflüssig, aber Ht ist portabel.

3) Installieren Sie cPanel Hulk und vergewissern Sie sich, dass Sie Ihre IP-Adressen in die Whitelist aufgenommen haben, damit Sie nicht gesperrt werden, wenn Sie einen Pass vergessen. Dies wird auch eine gute Quelle für IPs sein, die zu ht + apf hinzugefügt werden können. Es hat einige Besonderheiten, so dass es die Anmeldeversuche mit Brute Force auf intelligente Weise abschwächen kann.

4) Verbinden Sie sich mit stopforumspam.com und projecthoneypot.org und bringen Sie ihre Module zum Laufen. Beide helfen viel, bekannte Anfragen abzulehnen und neue Tiere / Netze / Chinaspam zu identifizieren + zu melden. Es gibt auch E-Mail-Filter, die Sie verwenden können, aber Google Mail besitzt sie, wenn es um Spam-Filter geht.

5) Da die Bots niemals nachlassen, schützen Sie Ihre Admin-Pfade. Wenn Sie WordPress ausführen, den Administrationspfad ändern, Captcha hinzufügen usw. Wenn Sie SSH verwenden, ändern Sie den Anmeldeport in einen nicht verwendeten, und deaktivieren Sie dann die SSH-Root-Anmeldung. Erstellen Sie ein "radmin", bei dem Sie sich zuerst anmelden müssen, dann su für root.

• Ein Hinweis zu Captcha: Wenn Sie Ihr eigenes Captcha auf einer Website mit hohem Datenaufkommen ausführen und den Bot-Rausch auf Firewall- / HT-Ebene nicht leugnen, kann dies aufgrund der Bilderzeugung in all diesen "Antispam" -Widgets zu einer Beeinträchtigung Ihrer CPU-Zyklen führen.

• Hinweis zur Auslastung: Wenn Sie CentOS auf Ihrem Server ausführen und über VPS-Fähigkeiten verfügen, eignet sich CloudLinux hervorragend für die Absicherung und Auslastungskontrolle. Angenommen, ein Bot kommt durch, CageFS ist da, um es auf ein Konto zu beschränken. Sagen wir, sie entscheiden sich für DDoS ... LVE ist da, um die Auslastung des Kontos (der Site) zu begrenzen, damit Ihr Server nicht abstürzt. Es ist eine gute Ergänzung, um das gesamte System des "absichtlichen Entitätsmanagements" zu betonen :)

Nur ein paar Gedanken, ich hoffe das hilft dir weiter

Erklärung des Problems

Zunächst einmal sind Sie nicht der einzige, der dieses Problem hat - das sind alle. Was Sie gesehen haben, ist das Ergebnis automatisierter Bots, die jede IP-Adresse crawlen und nach allgemeinen Schwachstellen suchen. Sie versuchen also im Grunde, herauszufinden, welche Dinge Sie verwenden, und wenn Sie phpmyadmin verwenden, versuchen sie später eine Reihe von Standardkennwortkombinationen für Benutzernamen.

Ich bin überrascht, dass Sie so etwas gerade gefunden haben (vielleicht haben Sie gerade Ihren Server gestartet). Das Problem ist, dass Sie ihre IP-Adresse nicht für immer blockieren können (höchstwahrscheinlich ist dies ein infizierter Computer, und sein tatsächlicher Benutzer weiß nicht, was er tut, außerdem gibt es viele solcher IPs).

SEO-Effekt

Es hat überhaupt keine Wirkung. Es bedeutet nur, dass jemand versucht hat, auf etwas auf Ihrem Computer zuzugreifen, und dass es nicht vorhanden war

Ist das wirklich wichtig?

Sicher, diese Leute versuchen, Sie auf einige Probleme zu untersuchen. Darüber hinaus verschwenden sie Ihre Ressourcen (Ihr Server muss auf irgendeine Weise reagieren) und belasten Ihre Protokolldatei

Wie soll ich das beheben

Ich hatte das gleiche Problem, das ich zu beheben versuchte, und das beste Tool (Einfachheit im Vergleich zu dem, was ich damit machen kann), das ich finden konnte, ist fail2ban

Sie haben auch das Glück, dass ich bereits einen Weg gefunden habe, das gleiche Problem zu beheben, und es sogar hier dokumentiert habe (sodass Sie nicht finden müssen, wie man es installiert und wie es funktioniert). Überprüfen Sie meine Frage zu ServerFault . Aber bitte lies ein bisschen über fail2ban, um zu wissen, ob es funktioniert.

Wie viele bereits gesagt haben, handelt es sich hierbei nicht um einen Angriff, sondern um den Versuch, Ihre Site-App und / oder Ihre Serverfunktionen zu untersuchen oder zu scannen. Der beste Weg, um all diesen nutzlosen Datenverkehr und potenziell gefährlichen Scans herauszufiltern, ist die Implementierung einer WAF (Web Application Firewall). Dies fängt alle verschiedenen Versuche ab und markiert sie und sendet nur dann echten legitimen sauberen Datenverkehr an Ihre Server und Web-App.

Sie können Cloud-basiertes DNS-WAF oder dedizierte Geräte verwenden. Ich persönlich benutze Incapsula und F5 ASM für verschiedene Kundenstandorte. Die monatlichen Kosten betragen nur 500 US-Dollar und helfen enorm. Es bietet Ihren Kunden auch einen besseren Schutz und verringert die Ressourcen auf den Webservern selbst. Dies spart Geld und erhöht die Geschwindigkeit. Außerdem bieten diese Geräte PCI 6.6-Konformität und ermöglichen das Überprüfen von Berichten.

Hoffe das hilft.