Налагает ли Google штраф на ежедневно обновляемые теги <lastmod> в файлах сайта, если данные не обновляются ежедневно?

У меня есть карта сайта, которая генерируется ежедневно с множеством ссылок на страницы продукта. Эти продукты ежедневно импортируются из другого источника данных. Поскольку обновление состоит в отбрасывании всей текущей информации о продукте и замене ее новой импортированной информацией, дата последнего изменения всегда изменяется на один день. Это также используется в карте сайта. Даже для продуктов, которые не изменились. Все страницы продукта претендуют на обновление.

Будет ли Google наказывать веб-сайт за притворство, что страницы менялись изо дня в день, а они - нет?

Мое решение состоит в том, чтобы изменить запись только в том случае, если новые импортированные данные о продукте отличаются от предыдущих данных. Я просто хочу убедиться, что это полезное обновление, и я мог бы потратить свое время на другие улучшения.

Я никогда не слышал ничего о наказании из-за этого. В худшем случае вы теряете время паука, но это одна из причин того, почему у нас есть компьютеры в первую очередь: делать утомительные повторяющиеся вещи. Тем не менее, в идеале вы должны решить эту проблему.

Эта...

Мое решение состоит в том, чтобы изменить запись только в том случае, если новые импортированные данные о продукте отличаются от предыдущих данных.

... это то, что вы должны делать в первую очередь, независимо от внешних факторов, таких как карты сайта и т. д. Если ваш контент не отличается (и я бы включил удаление и замену идентичной информацией в этом описании), тогда ваша lastmodдата не должна не может быть изменено Здесь вы тратите свои собственные ресурсы. Вы не сказали, сколько продуктов задействовано, но наступит момент, когда этот процесс станет медленным и вычислительно дорогим.

Мне никогда не нравилась идея обновлять <lastmod>каждый день, потому что это не просто неправильно, это вводит в заблуждение поисковые системы.

В сообщении о SO Гари Иллис из Google написал:

Тег lastmod является необязательным в сидячих картах и ​​в большинстве случаев игнорируется поисковыми системами, потому что веб-мастера делают ужасную работу, поддерживая его точность.

Я вообще рекомендовал либо использовать <lastmod>правильно, либо вообще не использовать. Отключение (а также <changefreq>& <priority>) даже делает сам файл меньше и быстрее для поисковых систем.

Нет. Google будет использовать lastmodв качестве подсказки (то же самое, что и все значения карты сайта), но если она решит, что ваш контент не обновляется ежедневно, то она просто проигнорирует его и повторно посетит ваши страницы по собственному расписанию.

Я не работаю в Google и не могу точно сказать, что они на самом деле делают, но разумный способ для них обрабатывать <lastmod>метки времени - это подсказки, чтобы не тратить время на повторное сканирование страниц, которые не изменились.

Поэтому, если вы будете сообщать, что все ваши страницы изменяются каждый день, робот Googlebot будет просто сканировать все ваши страницы в любом порядке, а не фокусироваться только на тех страницах, которые изменились. По сути, это так же, как если бы вы вообще не сообщали о последних отметках времени модификации.

Основная причина предоставления правильных <lastmod>временных отметок - чтобы изменения в вашем сайте быстрее отображались в индексе Google. Если на вашем сайте есть сотни страниц, Google потребуется некоторое время, чтобы просканировать их все и найти какие-либо изменения. Однако, если вы сообщите роботу Google, какие страницы были недавно изменены, он может сначала сканировать эти страницы и не тратить столько времени на остальные.

Конечно, вы можете просто увеличить скорость сканирования роботом Googlebot в Инструментах для веб-мастеров и надеяться на лучшее. Но на самом деле не должно быть слишком сложно заставить ваш скрипт обновления сохранять временные метки. Например, я предполагаю, что вы в настоящее время делаете что-то вроде этого:

for each product do:
    write new page content into product page file;
end do;

Если это так, просто замените его на что-то вроде этого:

for each product do:
    read old page content from product page file into string A;
    write new page content into string B;
    if A is not equal to B then:
        write string B into product page file;
    end if;
end do;

Нет, он просто игнорирует информацию, которую вы предоставили, когда она неверна. В этом случае сканеры сами выясняют, как часто им следует сканировать ваши страницы.

Google не накажет вас за это. Чтобы получить штраф, вам действительно нужно надеть черную шляпу на задницу Google, так что не беспокойтесь об этом. Google скоро выяснит, есть ли в вашем контенте изменения (это то, над чем они работали последние несколько лет), и воспользуется свойством lastmod в качестве подсказки.

Я предлагаю вам ознакомиться с этой рекомендацией для карт сайта XML и каналов RSS / Atom.

Время последней модификации

Укажите время последнего изменения для каждого URL в карте сайта XML и канале RSS / Atom. Время последней модификации должно быть в последний раз, когда содержание страницы изменилось осмысленно. Если изменение должно быть видимым в результатах поиска, то время последнего изменения должно быть временем этого изменения.

XML sitemap uses  <lastmod>
RSS uses <pubDate>
Atom uses <updated>

Обязательно установите или обновите время последнего изменения правильно:

Specify the time in the correct format: W3C Datetime for XML sitemaps, RFC3339 for Atom and RFC822 for RSS.
Only update modification time when the content changed meaningfully.
Don’t set the last modification time to the current time whenever the sitemap or feed is served.