Ich habe eine dynamische Site, die viele (also weniger als 50) Benutzer hat. Jeder Benutzer darf so viele Seiten erstellen, wie er möchte. Ich weiß, dass es eine Begrenzung für die Anzahl der Seiten gibt, die in sitemap.xml aufgelistet werden können, und im Moment bin ich unter dieser Begrenzung, aber ich würde gerne wissen, wie Suchmaschinen (alles?) Am besten wissen können Die Seiten meines Benutzers befinden sich immer noch unter diesem Limit, auch wenn ich mehr als das Limit habe.
Antworten:
Sitemap-Dateien haben ein Limit von 50.000 URLs und 10 Megabyte pro Sitemap. Sitemaps können mit gzip komprimiert werden, wodurch der Bandbreitenverbrauch reduziert wird. Es werden mehrere Sitemap-Dateien unterstützt, wobei eine Sitemap-Indexdatei als Einstiegspunkt für insgesamt 1000 Sitemaps dient.
Beachten Sie, dass Sie in Ihrer robots.txt-Datei mehrere Sitemaps angeben können :
Wenn Sie auf die Einschränkung stoßen, teilen Sie Ihre Benutzer möglicherweise irgendwie auf. Angenommen, jeder Ihrer Benutzer hat nicht mehr als 10.000 URLs pro Stück. Sie können diese in Dateien aufteilen und diese zu Ihrer robots.txtDatei hinzufügen :
Sitemap: http://www.example.com/sitemaps/users-001-005.xml
Sitemap: http://www.example.com/sitemaps/users-006-010.xml
Sitemap: http://www.example.com/sitemaps/users-011-015.xml
Sitemap: http://www.example.com/sitemaps/users-016-020.xml
Sitemap: http://www.example.com/sitemaps/users-021-025.xml
Sitemap: http://www.example.com/sitemaps/users-026-030.xml
Sitemap: http://www.example.com/sitemaps/users-031-035.xml
Sitemap: http://www.example.com/sitemaps/users-036-040.xml
Sitemap: http://www.example.com/sitemaps/users-041-045.xml
Sitemap: http://www.example.com/sitemaps/users-046-050.xml
Jetzt müssten Sie immer noch das 10-MB-Limit für jede einzelne Sitemap berücksichtigen, aber dies ist ein Ansatz, um das Problem mit "zu vielen" URLs zu lösen.
In den CNN- und Google- robots.txt Dateien werden mehrere Sitemaps in Aktion angezeigt.