Должен ли я включить все в карту сайта или только новый контент?

Для веб-сайта с динамическим контентом (новый контент постоянно добавляется), должен ли я включать только самый новый контент в карту сайта или я должен включать все (с индексом карты сайта)? Каковы лучшие практики для файлов Sitemap ESP. для больших сайтов?

Кроме того, есть ли способ заставить Google (и другие поисковые системы) сканировать только страницы в карте сайта?

Благодарность

Обновление:
Кроме того, есть идеи, как это обрабатывает stackoverflow? Я хотел бы знать, но, к сожалению (также с пониманием ), они заблокировали доступ к своей карте сайта.

seo sitemap

— Mee
источник

Насколько большой сайт? Существует ограничение на размер файла robots.txt и карты сайта. Удивительно, но многие превосходят оба, поэтому я и спрашиваю.

— Тим Пост

@ Тим, сейчас он не очень большой (все может поместиться в одной карте сайта), но я стараюсь планировать заранее.

— Ми

Включить все страницы. Цель XML-карты сайта - рассказать поисковым системам обо всем вашем контенте. Не только новые вещи.

С сайта sitemaps.org (выделено мое):

Файлы Sitemap - это простой способ для веб-мастеров информировать поисковые системы о страницах своих сайтов, доступных для сканирования .

Если у вас много контента, вы можете использовать несколько XML-файлов сайта .

Если у вас есть контент, который вы не хотите сканировать или индексировать, вы должны специально указать поисковым системам не сканировать и не индексировать эти страницы. Используйте файл robots.txt, чтобы заблокировать любые страницы или каталоги, которые вы не хотите сканировать. Вы также можете использовать метатег для этого. Но вы не можете указать в XML-карте сайта, чтобы не сканировать незарегистрированные страницы.

— Джон Конде
источник

Спасибо за ваш ответ, я включу все в карту сайта.

— Ми

У вас есть библиотека, которая может обрабатывать более 50 страниц?

Эти 50k + страниц в базе данных?

— Джон Конде

Вам не нужно размещать каждую страницу вашего сайта в карте сайта. Карта сайта полезна для информирования поисковых систем о страницах, доступных для сканирования. Если поисковая система уже может видеть каждую страницу, которую можно сканировать, и вы не добавляете информацию о «последней модификации», то нет нужды иметь такую.

— Джанго Рейнхардт

Этот ответ кажется несколько противоречащим webmasters.stackexchange.com/a/5151/30596 . Цитата @Джон Мюллер из Google,

Using a Sitemap file won't reduce our normal crawling of your site. It's additional information, not a replacement for crawling. Similarly, not having a URL in a Sitemap file doesn't mean that it won't be indexed.

— пользователь