Als «googlebot» getaggte Fragen

Googlebot ist die Bot-Software, mit der Google täglich über 20 Milliarden Seiten crawlt. Die beim Crawlen erhaltenen Daten werden dann analysiert und in der Google-Suche eingestuft.

4
Verhindern, dass XML-Sitemaps in den Google-Suchergebnissen angezeigt werden
Wie verhindere ich, dass meine XML-Sitemap-Dateien in Google-Suchergebnissen angezeigt werden, beispielsweise als Ergebnis einer site:Suchabfrage: Ich verstehe nicht, warum Google zunächst Sitemap-Dateien in den Suchergebnissen anzeigt. Diese Dateien sind nicht für den menschlichen Verzehr bestimmt. Google muss es crawlen können, damit es verarbeitet werden kann. Daher kann ich es in …
7
Zwischenspeichert Google robots.txt?
Ich habe vor einer Woche eine robots.txt- Datei zu einer meiner Websites hinzugefügt , die Googlebot daran hindern sollte, bestimmte URLs abzurufen. An diesem Wochenende kann ich jedoch feststellen, dass Googlebot genau diese URLs lädt. Zwischenspeichert Google die Datei robots.txt und sollte dies der Fall sein?
3
SEO - Responsive Website und doppelte Menüs
Immer wenn ich eine Responsive-Website erstelle, erstelle ich normalerweise zwei Menüs: 1 ausgeblendet und für Mobilgeräte verwendet und das andere als Hauptmenü angezeigt und dann ausgeblendet, um das Mobilmenü anzuzeigen. Wann immer es um SEO und Spinnen geht, die auf der Website navigieren, bekomme ich das Problem, dass ich doppelte …
4
Unterstützt Googlebot TLS 1.2? Wenn nicht, wie sieht meine TLS v1.2-only-Site aus?
Ich leite derzeit alle Nicht-HTTPS-Verbindungen zu HTTPS um und unterstütze TLS v1, TLS v1.1 und TLS v1.2. Ich habe meinen Testserver so konfiguriert, dass nur eine sehr eingeschränkte und sichere Verschlüsselungssuite und TLSv1.2 akzeptiert werden. Bei der Ausführung des SSL Labs-Tests stellte ich fest, dass in der Kompatibilitätstabelle die Crawler …
1
Wie funktioniert "Noindex:" in robots.txt?
Ich bin heute in meinen SEO-Nachrichten auf diesen Artikel gestoßen. Es scheint zu implizieren, dass Sie Noindex:zusätzlich zu den Standardanweisungen Disallow:in robots.txt Direktiven verwenden können . Disallow: /page-one.html Noindex: /page-two.html Es scheint, als würde dies verhindern, dass Suchmaschinen Seite eins crawlen und Seite zwei indizieren. Wird diese robots.txt- Direktive von …
3
Senden Search Engine Spider POST-Formulare?
Wenn ich Inhalt hinter einem POST-Formular habe (in meinem Fall ein Auswahlfeld), können Googlebot oder andere Suchmaschinenspinnen den Inhalt hinter diesem Formular crawlen? Wenn ich beispielsweise 4 Übersetzungen einer Seite hätte und die Sprachauswahl ein POST-Formular für dieselbe URL wäre, das dann zur sprachspezifischen URL umgeleitet würde, könnte Googlebot dann …
1
Wie hat Google es geschafft, meine 403 Seiten zu crawlen?
Ich hatte ein paar private Dateien in einem Verzeichnis in meinem Schulordner. Sie können sehen, dass die Dateien vorhanden sind, indem Sie zu myschool.edu/myusername/myfolder gehen. Wenn Sie jedoch versuchen, über myschool.edu/myusername/myfolder/myfile.html auf die Dateien selbst zuzugreifen, wird ein 403-Fehler zurückgegeben. Und doch hat Google es irgendwie geschafft, den Inhalt dieser …
2
Sollten wir das AJAX-Crawling-Schema fallen lassen?
Jetzt hat Google das AJAX-Crawling-Schema abgelehnt . Sie sagen, dass sie sich nicht die Mühe machen sollen, es auf neuen Websites zu implementieren, da es nicht mehr benötigt wird, da Googlebot jetzt kein Problem damit hat, dynamische Inhalte anzusehen. Sollten wir dieser Aussage sofort vertrauen oder uns besser für eine …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.