Какой метатег «робот» получает предпочтение?

Моя жена работает в средней школе в Германии. Недавно я заметил, что с помощью Google очень трудно найти домашнюю страницу этой школы . Я посмотрел на исходный код страницы и считаю, что нашел причину: есть два <meta name="robots">тега; один

<meta name="robots" content="all">

и второй, далее вниз по странице, это

<meta name="robots" content="noindex, follow">

Я предполагаю, что второе превосходит первое и не дает Google проиндексировать сайт. Я прав? Я не хотел бы сообщать веб-мастеру, что я нашел проблему и сделать из себя идиота (потому что я действительно ничего не знаю о том, как создать правильную веб-страницу, не говоря уже о SEO).

Кстати, если вы обнаружите какие-либо другие глупости на сайте, я был бы рад, если бы вы могли сообщить о них. Моим следующим кандидатом будет полное отсутствие релевантных metaтегов, которые передают информацию о содержании страницы.

seo web-crawlers meta-robots

— Тим Питцкер
источник

Немецкая Википедия утверждает, что <meta name="robots" content="all"> это семантически равно <meta name="robots" content="index, follow">, так что оба метатега противоречат в любом случае. Я бы уведомил веб-мастера. Я также предполагаю, что Google выберет более строгую политику и, следовательно, не будет индексировать страницу, чтобы предотвратить проблемы с авторским правом.

— Матиас Ронге

Я также увидел, что в конце страницы два запроса отправляются на сторонние серверы ( ajax.googleapis.comи ssl.google-analytics.com). Это может быть юридической проблемой и привилегией информационного самоопределения в Германии. Я бы рекомендовал избегать этого.

— Матиас Ронге

Есть также два titleэлемента. И то же самое повторяется на других страницах, а не только на главной странице! На самом деле, нет никаких страниц, проиндексированных, кроме нескольких PDF-файлов !? Возможно, конфликтующие модули в CMS ?! Немного побочной проблемы ... Как указано в ответах, наиболее строгие правила будут применяться поисковыми системами - не обязательно последующее правило. Однако такая функция, как PHP, get_meta_tags()будет возвращать только более позднее правило - поэтому существует немедленная (потенциальная) проблема с наличием нескольких метатегов для одних и тех же данных.

— MrWhite

@ w3d: Спасибо за понимание! Это очень полезно.

— Тим Пицкер

Ответы:

Хотя немецкая Википедия утверждает, что allэто допустимое значение, я понятия не имею, откуда эта информация, и немецкая Википедия не ссылается ни на один источник. Это AFAIK неправильно, и ИМХО хороший пример того, почему не следует полагаться на Википедию для такого рода информации.

Если вы хотите использовать метатег робота для направления googlebot , лучшая информация о допустимых значениях - это Google webmasters central . В нем перечислены следующие шесть значений как действительными: noindex, nofollow, noarchive, nosnippet, noodp, none.

Другими словами, для googlebot :

meta name="robots" content="all">

является синтаксической ошибкой и будет игнорироваться, пока:

<meta name="robots" content="noindex, follow">

является допустимым синтаксисом и будет соблюдаться (поэтому это объясняет, почему крайне трудно найти домашнюю страницу этой школы с помощью Google).

Чтобы ответить на ваш второй вопрос, что произойдет, если два допустимых мета-тега робота конфликтуют, говорит Google (та же страница, что и ссылка выше):

Если значения контента конфликтуют, мы будем использовать самые строгие.

Что касается мета-тегов, здесь представлен обзор мета-тегов, распознаваемых Google .

— Svartepjotr
источник

Спасибо за ссылку на Google для веб-мастеров. Я передам это школьному вебмастеру.

— Тим Питцкер,

Мета-теги роботов подробно описаны в developers.google.com/webmasters/control-crawl-index/docs/… - простой способ помнить, что «положительные» (все, индекс, следуйте) не имеют эффект на всех.

— Джон Мюллер

Насколько я знаю, поведение двух конфликтующих метатегов не определено, но, скорее всего, победит наиболее ограничивающее правило.

Это происходит аналогично случаю файла robots.txt против тега meta robots. Если robots.txt запрещает индексирование страницы, а мета-роботы - нет, страница не будет проиндексирована. И если robots.txt разрешает страницу, но мета-роботы блокируют ее, она все равно не будет проиндексирована.

Таким образом, логика будет диктовать, что при наличии двух конфликтующих метатегов, если один из блоков индексирует, он переопределит другой (независимо от их соответствующего расположения на странице).

Вы должны спросить веб-мастера, блокируют ли они поисковые системы по определенной причине. Если нет, удалите оба метатега (по умолчанию это разрешено поисковым системам, поэтому нет никаких причин иметь этот тег вообще).

Что касается другой части вашего вопроса, обзоры сайта выходят за рамки Pro Webmasters. Но я добавлю, что мета-тег описания, вероятно, единственный, который вы найдете полезным. Мета-тег ключевых слов не используется поисковыми системами.

— DisgruntledGoat
источник