Ein Computerprogramm, das für verschiedene Zwecke auf Webseiten zugreift (um Inhalte zu entfernen, Suchmaschinen mit Informationen über Ihre Website zu versorgen usw.)
Ich habe eine Site auf eine neue Domain migriert. Die Seite selbst ist ziemlich unkompliziert (sie verwendet Jekyll) und alles ist gut gelaufen - außer der Migration von Disqus-Threads. Ich hatte teilweise Erfolg - einige der Threads wurden erfolgreich migriert, aber nicht alle. Ich habe den Domänenmigrationsassistenten (der einige abgefangen …
Ich habe Ask.comals eine der Suchmaschinen meine Sitemap gepingt. Als ich heute meine Sitemap anpingte, um meine Sitemap neu zu indizieren, wurde auf der Website ( http://submissions.ask.com/ping ) angegeben, dass sie nicht mehr existiert. Ich habe eine DNS-Suche durchgeführt submissions.ask.comund es sieht so Ask.comaus, als hätte die Subdomain entfernt, aber …
Ich habe eine Website, die aus regulatorischen Gründen möglicherweise nicht automatisch indiziert oder durchsucht wird. Dies bedeutet, dass wir alle Roboter fernhalten und verhindern müssen, dass sie die Site spinnen. Offensichtlich hatten wir eine robots.txt-Datei, die von Anfang an nicht erlaubt ist. Das Beobachten der robots.txt-Datei ist jedoch etwas, was …
Ich habe einige 404-Fehler gesehen, als auf einigen von mir verwalteten Websites ads.txt angefordert wurde. Ich vermute, die Antwort ist möglicherweise identisch mit der Frage nach einer leeren robots.txt-Datei oder gar keiner Datei (verhindern Sie nur einige 404-Fehler). Es fällt mir jedoch schwer, die zugrunde liegenden Konzepte hinter ads.txt zu …
Ich möchte den archive.isZugriff auf meine Website verweigern . (Ich möchte nicht, dass diese Website meine ohne meine Zustimmung zwischenspeichert). Wissen Sie, ob es möglich ist?
Meine Frau arbeitet an einem Gymnasium in Deutschland. Ich habe kürzlich festgestellt, dass es extrem schwierig ist , die Homepage dieser Schule mit Google zu finden. Ich habe mir den Quellcode der Seite angesehen und glaube, ich habe den Grund gefunden: Es gibt zwei <meta name="robots">Tags; einer ist <meta name="robots" …
Wenn ich eine statische Seite in einer Domain erstelle (http://www.domain.com/page.html), kann ein Crawler sie dann weiterhin sehen, wenn auf der Site keine Links dazu vorhanden sind?
Auf Facebook registrierte Crawler (ipv6 mit der Endung: face: b00c :: 1) knallten unsere Website und sahen in nur 20 Minuten Zehntausende von Treffern. Wir haben festgestellt, dass sie keinen Benutzeragenten im Header haben, und haben eine Regel für Cloudflare implementiert, um uns selbst zu schützen. Es scheint, dass sie …
Wir sind kürzlich auf ein Problem gestoßen, bei dem wir var GLOBAL_VAR = true;einer HTML-Seite (z. B. ) eine JavaScript-Variable (z. B. ) hinzugefügt /Search/Indexund die separate JS-Datei (z. B. ) aktualisiert haben, /Scripts/search/index.jsum auf diese JS-Variable zuzugreifen und sie zu verwenden. Nachdem wir diese Änderungen live im Web veröffentlicht …
Crawlen Suchmaschinen eine Seite mit dem Metaattribut 'noindex'? Der Grund, den ich frage, ist, dass wir nahezu doppelten Inhalt haben, der durch die facettierte Navigation verursacht wird, und die gefilterten Seiten "noindex" angegeben haben und ich mich gefragt habe, ob diese Seiten immer noch als doppelte Inhalte erkannt werden? Muss …
Ist Googlebot - Googles webcrawler - follow - Browser-Seite HTML - Importe wie die folgenden? <link rel="import" href="header.html"> Ich denke darüber nach, Webinhalte auf meinem Webserver zu hosten, der diese Richtlinie verwendet, die im W3C-Entwurf enthalten ist . Ich mache mir jedoch Sorgen, dass der gesamte Text auf meiner Website …
Ich migriere meine gut indizierte Website nur von HTTP auf HTTPS. Geplante Schritte: Alle HTML-Seiten können jetzt HTTPS sein Alle HTTP-Seiten werden mit derselben URL zu HTTPS umgeleitet Alle Sitemaps haben HTTPS-URLs Alle Links auf HTML-Seiten sind HTTPS Fehler 1: Derzeit robots.txtauf HTTPS-Ebene nicht zulassen, da der Crawler keine HTTPS-Seiten …
Nach dem, was ich in meinen Serverprotokollen gelernt habe, gehören IP-Adressen, die mit 64.249 beginnen, zu Google. Wenn ich auf meinem Computer eine Host-Suche für Google durchführe, erhalte ich 11 verschiedene IP-Adressen, die alle mit 74.125.226 beginnen. Ich gehe dann hier http://www.iplists.com/ und finde heraus, dass es eine Menge weiterer …
Wie lange wartet der Google-Bot beim Crawlen, während der JS seine Arbeit an der Seite ausführt, bis das Javascript ausgeführt wird, nachdem das Dokument fertig ist? Angenommen, ich habe eine AJAX-Antwort, die länger als gewöhnlich dauert. Wie kann sichergestellt werden, dass der Google Bot die inhaltsreiche Website crawlt (mit der …
Ich bin wirklich besorgt über ein Design, das mir von einem Designer übergeben wurde. Es ändert das Menü für Mobile und Desktop. Auf Mobilgeräten können Sie nur auf die Hauptkategorien zugreifen, die zu allen Inhalten und Unterlinks führen. Auf dem Desktop kann das Menü mehr anzeigen und erleichtert und beschleunigt …
We use cookies and other tracking technologies to improve your browsing experience on our website,
to show you personalized content and targeted ads, to analyze our website traffic,
and to understand where our visitors are coming from.
By continuing, you consent to our use of cookies and other tracking technologies and
affirm you're at least 16 years old or have consent from a parent or guardian.