Soll ich alles in die Sitemap aufnehmen oder nur neue Inhalte?

Sollte ich für eine Website mit dynamischem Inhalt (ständig werden neue Inhalte hinzugefügt) nur den neuesten Inhalt in die Sitemap aufnehmen oder sollte ich alles aufnehmen (mit einem Sitemap-Index)? Was sind die Best Practices für Sitemaps? für große Websites?

Gibt es überhaupt eine Möglichkeit, dass Google (und andere Suchmaschinen) nur die Seiten in der Sitemap crawlen?

Vielen Dank

Update:
Auch eine Idee, wie Stackoverflow damit umgehen? Ich würde gerne wissen, aber leider (auch verständlicherweise ) haben sie den Zugriff auf ihre Sitemap gesperrt.

seo sitemap

— Mee
quelle

Wie groß ist die Seite? Sowohl für robots.txt als auch für die Sitemap gibt es eine Größenbeschränkung. Erstaunlicherweise übertreffen viele beides, weshalb ich frage.

— Tim Post

@ Tim, es ist nicht wirklich groß für den Moment (alles kann in eine Sitemap passen), aber ich versuche, vorauszuplanen.

— Mee

Alle Seiten einschließen. Der Zweck der XML-Sitemap besteht darin, den Suchmaschinen alle Ihre Inhalte mitzuteilen. Nicht nur das Neue.

Von der Website sitemaps.org (Schwerpunkt Mine):

Sitemaps sind eine einfache Möglichkeit für Webmaster, Suchmaschinen über Seiten auf ihren Websites zu informieren, die zum Crawlen zur Verfügung stehen .

Wenn Sie viel Inhalt haben, können Sie mehrere XML-Sitemaps verwenden .

Wenn Sie Inhalte haben, die nicht gecrawlt oder indiziert werden sollen, müssen Sie die Suchmaschinen ausdrücklich anweisen, diese Seiten nicht zu crawlen und zu indizieren. Verwenden Sie eine robots.txt- Datei, um alle Seiten oder Verzeichnisse zu blockieren, die Sie nicht gecrawlt haben möchten. Sie können dafür auch ein Meta-Tag verwenden . Sie können in einer XML-Sitemap jedoch nicht angeben, dass nicht aufgelistete Seiten nicht gecrawlt werden sollen.

— John Conde
quelle

Vielen Dank für Ihre Antwort, ich werde alles in die Sitemap aufnehmen.

— Mee

Haben Sie eine Bibliothek, die 50 + k Seiten verarbeiten kann?

Befinden sich diese über 50.000 Seiten in einer Datenbank?

— John Conde

Sie müssen nicht jede Seite Ihrer Website in einer Sitemap platzieren. Eine Sitemap ist nützlich, um Suchmaschinen über Seiten zu informieren, die zum Crawlen zur Verfügung stehen. Wenn die Suchmaschine bereits alle durchsuchbaren Seiten sieht und Sie keine Informationen zu "Zuletzt geändert" hinzufügen, gibt es keinen Grund, eine zu haben.

— Django Reinhardt

Diese Antwort scheint im Widerspruch zu webmasters.stackexchange.com/a/5151/30596 zu stehen . Zitiert @ John Mueller von Google,

Using a Sitemap file won't reduce our normal crawling of your site. It's additional information, not a replacement for crawling. Similarly, not having a URL in a Sitemap file doesn't mean that it won't be indexed.

— Benutzer