У меня есть динамический сайт, который имеет много (ну, менее 50) пользователей. Каждому пользователю разрешено создавать столько страниц, сколько он хочет. Я знаю, что существует ограничение на количество страниц, которые вы можете перечислить в sitemap.xml, и на данный момент я нахожусь под этим ограничением, но я хотел бы знать, каков наилучший способ дать поисковым системам знать (все?) О страницы моего пользователя все еще находятся под этим лимитом, даже если у меня больше лимита.
Ответы:
Файлы Sitemap имеют ограничение в 50 000 URL-адресов и 10 мегабайт на карту сайта. Файлы Sitemap можно сжать с помощью gzip, что снижает потребление трафика. Поддерживается несколько файлов Sitemap, при этом индексный файл Sitemap служит точкой входа для 1000 файлов Sitemap.
Обратите внимание, что вы можете указать несколько файлов Sitemap в файле robots.txt :
Если вы сталкиваетесь с ограничением, возможно, разделите пользователей как-нибудь. Допустим, у каждого из ваших пользователей есть не более 10 000 URL-адресов, вы можете разбить его на файлы и добавить в свой robots.txtфайл:
Sitemap: http://www.example.com/sitemaps/users-001-005.xml
Sitemap: http://www.example.com/sitemaps/users-006-010.xml
Sitemap: http://www.example.com/sitemaps/users-011-015.xml
Sitemap: http://www.example.com/sitemaps/users-016-020.xml
Sitemap: http://www.example.com/sitemaps/users-021-025.xml
Sitemap: http://www.example.com/sitemaps/users-026-030.xml
Sitemap: http://www.example.com/sitemaps/users-031-035.xml
Sitemap: http://www.example.com/sitemaps/users-036-040.xml
Sitemap: http://www.example.com/sitemaps/users-041-045.xml
Sitemap: http://www.example.com/sitemaps/users-046-050.xml
Теперь вы все равно должны помнить о предельном размере 10 МБ для каждой отдельной карты сайта, но это подход для решения проблемы «слишком много» URL-адресов.
Посмотрите файлы CNN и Google, robots.txt чтобы увидеть несколько карт сайта в действии.