Warum hat Google die Indizierung von Seiten aus unserer sitemap.xml eingestellt?

Wir sehen einige Seiten, die in unserem vorhanden sind, sitemap.xmlaber aus unerklärlichen Gründen im öffentlichen Suchindex von Google fehlen.

Sie können /superuser//sitemap.xml nicht herunterladen. Wir schützen diese Datei, da in der Vergangenheit Probleme damit aufgetreten sind. Googlebot kann dies jedoch. Wir haben über die Google Webmaster-Tools überprüft, dass die sitemap.xmlDatei heute heruntergeladen wurde und ohne Fehler als OK eingestuft wurde (grünes Häkchen).

Die sitemap.xmlenthält eine Liste der letzten 50.000 Fragen auf unserer Website, die gestellt wurden. Zum Beispiel diese Frage ...

/superuser/201610/how-to-see-the-end-of-long-chain-of-symbolic-links

... existiert in der sitemap.xmlals ...

<url>
<loc>/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links</loc>
<lastmod>2010-10-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.2</priority>
</url>

Die Suche nach "Wie man das Ende einer langen Kette symbolischer Verknüpfungen erkennt" führt nur zu einem Ergebnis für questionhub.com, das unsere Daten kratzt (ein ganz anderes Problem).

Sie können die Anzahl der Fragen erhöhen und eine genaue Suche nach dem Fragentitel durchführen. Dieses Muster bleibt erhalten.

Diese URLs befinden sich in sitemap.xml, werden jedoch nicht im Google-Index angezeigt. Sie werden jedoch auf Websites angezeigt, die unsere Creative-Commons-Daten stören. Warum sollte das so sein?

Es sieht so aus, als ob Google diese Woche einige technische Crawling-Probleme hatte, die sich bemerkenswert ähnlich anhören wie das, was wir erlebt haben:

http://searchengineland.com/is-google-broken-sites-big-small-seeing-indexing-problems-53701

Niemand scheint vor einem Google-Indexierungsproblem gefeit zu sein, das viele Websitebesitzer verwirrt hat. Große und kleine Blogs und Websites werden nicht so schnell wie sonst indiziert - wenn überhaupt.

...

John von Google antwortete auf den Thread in den Webmaster-Foren mit den Worten:

Um ganz klar zu sein, die Probleme in diesem Thread, die ich ausführlich geprüft habe, sind nicht auf Änderungen in unseren Richtlinien oder in unseren Algorithmen zurückzuführen. Sie sind auf ein technisches Problem auf unserer Seite zurückzuführen, das so schnell wie möglich sichtbar behoben wird (es kann jedoch einige Tage dauern, bis es für alle Websites sichtbar ist).

Google bietet oder garantiert nicht, dass Seiten in einer Sitemap indexiert werden.

Ich habe die Erfahrung gemacht, dass eine Seite verlinkt werden muss (von einer Seite einer Behörde), um angezeigt zu werden. Ist diese Seite / Frage direkt / indirekt von einer Seite mit einer Berechtigung verlinkt?

Wenn beispielsweise die Homepage von superuser.com (die vermutlich viele Inlinks enthält) direkt mit dieser Frage oder indirekt über eine Reihe anderer Seiten verknüpft ist, können Sie damit rechnen, dass sie indexiert wird.

Von Google:

Google garantiert nicht, dass wir alle Ihre URLs crawlen oder indizieren. Wir verwenden die Daten in Ihrer Sitemap jedoch, um mehr über die Struktur Ihrer Website zu erfahren. Auf diese Weise können wir unseren Crawler-Zeitplan verbessern und Ihre Website in Zukunft besser crawlen. In den meisten Fällen profitieren Webmaster von der Übermittlung der Sitemap, und in keinem Fall werden Sie dafür bestraft.

http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=156184

Ich denke, Google könnte es schwer haben, Ihre Webseiten zu indizieren, 50.000 sind eine Menge. Mein Vorschlag wäre also, Ihre Sitemap in solche Teile aufzuteilen

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>
</sitemapindex>

Wenn Sie eine Panne haben, haben Sie ein besseres Glück, wenn diese 50.000 URLs indiziert werden.

Sitemaps.org Erklärung des Problems

Sie können mehrere Sitemap-Dateien bereitstellen, aber jede von Ihnen bereitgestellte Sitemap-Datei darf nicht mehr als 50.000 URLs enthalten und nicht größer als 10 MB (10.485.760 Byte) sein. Wenn Sie möchten, können Sie Ihre Sitemap-Dateien mit gzip komprimieren, um den Bandbreitenbedarf zu verringern. Die unkomprimierte Sitemap-Datei darf jedoch nicht größer als 10 MB sein. Wenn Sie mehr als 50.000 URLs auflisten möchten, müssen Sie mehrere Sitemap-Dateien erstellen.

Wenn Sie mehrere Sitemaps bereitstellen, sollten Sie jede Sitemap-Datei in einer Sitemap-Indexdatei auflisten. XML-Sitemap-Indexdateien dürfen nicht mehr als 50.000 XML-Sitemaps enthalten, dürfen nicht größer als 10 MB (10.485.760 Byte) sein und können komprimiert werden. Sie können mehr als eine Sitemap-Indexdatei haben. Das XML-Format einer Sitemap-Indexdatei ist dem XML-Format einer Sitemap-Datei sehr ähnlich.

http://sitemaps.org/protocol.php

Es scheint , dass Google die besagt , dass 46.514 eingereichten Links sind im Index. Könnte es ein Problem mit (ich hasse es zu sagen) aber Seitenrang sein? Die Scraping-Sites erledigen möglicherweise eine bessere Vernetzung usw. und werden höher eingestuft. Nur ein Gedanke.

Diese Suchseite : superuser.com Wie man das Ende einer langen Kette symbolischer Links sieht, scheint auch Ihre sitemap.xml korrekt abzurufen, obwohl nicht die erwarteten Ergebnisse zurückgegeben werden.

Bei dieser Art von Dingen gibt es viele mögliche Antworten.

Ich frage zunächst, wie viele Seiten Sie tatsächlich haben. (Sie haben 50.000 URLs auf einer schnellen Website eingereicht: superuser.com zeigt 125.000 indizierte URLs an. Glauben Sie, dass Sie nur 50.000 URLs haben und alle einreichen? Google findet 2-3 Exemplare jeder Seite? Oder Sie haben 1-Meilen-URLs und nur 12,5 % werden indiziert) Wenn Sie den Überblick behalten, können Sie festlegen, wo nach Problemen gesucht werden soll.

Wenn mit Schritt eins nichts falsch zu sein scheint, würde ich auf den Inhalt übergehen. Es sieht so aus, als ob QH viel mehr Inhalt auf seiner Seite hat und viele andere "Ressourcen" verlinken würde, obwohl der gesamte Inhalt von Google als verschrottet eingestuft wurde Seite nützlicher, da sie dem Benutzer mehr Ressourcen / Informationen bieten. Wenn sie als Autorität angesehen werden und Ihr gesamter Inhalt mit dem Ihren übereinstimmt, indiziert Google Ihren möglicherweise nicht, obwohl Sie das Original sind.

Wenn Sie davon überzeugt sind, dass dies nicht das Problem ist, erstellen Sie einige hochwertige Links dazu, bloggen Sie diese Frage in einigen beliebten Mitarbeiterblogs oder bitten Sie einige Freunde, darüber zu bloggen Fallstudie darüber usw.

Wenn Sie eine Menge starker Links erhalten und diese immer noch nicht indiziert werden, suchen Sie nach Gründen, die möglicherweise bestraft werden (in den meisten Fällen ist dies nicht das Problem, aber es tut nie weh, dies zu überprüfen).

Wenn nichts davon funktioniert, ist es ein einfaches technisches Problem, das übersehen wurde (Ausschluss von Robotern oder ähnliches).

Wenn Sie danach immer noch keine Antwort haben, fragen Sie Google und hoffen, dass Sie eine Antwort erhalten.

Die Frage wurde erst gestern gestellt - gib googlebot eine Chance, du bist nicht die einzige Seite im Internet, die er crawlen muss, weißt du :)

Wenn Fragen normalerweise innerhalb eines Tages oder so indexiert werden und eine Woche vergeht und diese noch immer nicht indexiert ist, könnte ich besorgt sein. Aber schon gar nicht nach 1 Tag.