Google сканирует сайты Drupal в режиме обслуживания?

10

Я использую Aegir для клонирования копий моего сайта под именем субдомена, т.е. test.mydomain.com. Эти копии находятся в режиме обслуживания, чтобы держать спамеров и посторонних глаз. Затем я использую эти копии для тестирования и разработки, прежде чем вносить изменения в мой основной сайт mydomain.com.

Но больно ли моему SEO SEO наличием этих клонированных сайтов? Google сканирует сайты, которые были переведены в режим обслуживания? Будет ли это наказывать меня за то, что у меня так много тупиковых поддоменов?

multi-sites maintenance-mode aegir

— Мэгги
источник

3

Похоже, что этот вопрос не по теме, поскольку он касается внутренних алгоритмов Google, а не чего-то конкретно связанного с Drupal, или того, что мы можем когда-либо знать с какой-либо значительной степенью уверенности.

— Молот

7

@ Mołot Как это не может быть по теме? Режим обслуживания - это особенность Drupal. Есть методы для правильной обработки этого сценария. Спрашивать, правильно ли Drupal поступает, полезно для будущих читателей.

— mpdonadio

2

@MPD, по крайней мере, часть "Будет ли это наказывать меня за то, что у меня так много тупиковых поддоменов", это абсолютно не связано с Drupal. Способы, которыми Google может быть перенаправлен на страницу в режиме обслуживания, в первую очередь также не связаны с Drupal.

— Молот

21

Когда вы переводите сайт Drupal в режим обслуживания, не администраторы видят страницу стандартного режима обслуживания (при условии, что вы очистите кеши после этого). Если вы изучите ответ, вы увидите, что он отправляется обратно с кодом состояния HTTP 503, который из RFC 2616 :

503 Сервис недоступен
В настоящее время сервер не может обработать запрос из-за временной перегрузки или обслуживания сервера. Подразумевается, что это временное состояние, которое будет облегчено после некоторой задержки. Если известно, длина задержки МОЖЕТ быть указана в заголовке Retry-After. Если Retry-After не задано, клиент ДОЛЖЕН обработать ответ, как это было бы для ответа 500.

А из официального блога Google для веб-мастеров :

Если мой сайт закрыт на техническое обслуживание, как я могу сказать роботу Google возвращаться позже, а не индексировать страницу «не работает»?
Вы должны настроить свой сервер так, чтобы он возвращал состояние 503 (сеть недоступна), а не 200 (успешно). Это позволяет Googlebot знать, чтобы попробовать страницы позже.

Таким образом, это свидетельствует о том, что Drupal делает правильные вещи, и что Google повторно зайдет на ваш сайт и проиндексирует страницы, когда в следующий раз вернется код статуса, отличный от 5XX.

— mpdonadio
источник

2

Страница входа пользователя будет продолжать возвращать код состояния 200 OK (а также отображать блоки и т. П., Которые обычно не видны в режиме обслуживания ( # 722434 )); однако robots.txt имеет директиву Disallow: для страницы входа в систему, поэтому боты с хорошим поведением все равно не будут ее индексировать.

— Гаррет Олбрайт

Это хороший момент для самой страницы обслуживания, код ответа 503 означает, что Google не будет индексировать эту страницу обслуживания.

— Дэвид Томас

6

Если вы не сделали что-то особенное, чтобы разрешить это, Google не сможет сканировать ваш сайт в режиме обслуживания.

Поскольку для просмотра необходимо войти в систему, googlebot увидит назначенную страницу обслуживания.

Дополнительные рекомендации от Google см. По следующим ссылкам:

Рекомендации для веб-мастеров: https://support.google.com/webmasters/answer/35769?hl=ru.
Руководство по SEO (многостраничный PDF): http://www.google.com/webmasters/docs/search-engine-optimization-starter-guide.pdf
Руководство по SEO (одностраничный PDF): https://storage.googleapis.com/support-kms-prod/SNP_3027140_en_v0

— Дэвид Томас
источник

Я думаю, дело в том, что вы не хотите, чтобы Google проиндексировал страницу обслуживания.

— Fuzzy76

2

Ваши проблемы:

Если вы не знаете, блокирует ли режим обслуживания «все, что вы хотите, заблокировано» на 100% (!), Но в то же время очень беспокоитесь о том, «может ли кто-то, например, Google, по-прежнему иметь к нему доступ». ... тогда режим обслуживания может быть плохим выбором для блокировки вашего сайта разработки.

Рекомендация:

Лично я рекомендую просто добавить .htpasswd к вашим сайтам разработчиков.

Это просто автоматизировать даже внутри развертываний AEGIR. Это никогда не мешает вам, потому что ваш браузер и любой инструмент командной строки могут пропустить это для вас. Вы можете впустить других людей. Он блокирует сайт на 100% для Google и т. Д.

— user18099
источник