Должны ли мы изменить наш Joomla robots.txt после объявления Google о сканировании CSS и JavaScript?

Наткнулся на объявление от Google: http://googlewebmastercentral.blogspot.in/2014/10/updating-our-technical-webmaster.html

Здесь утверждается:

Для оптимального рендеринга и индексации в нашем новом руководстве указано, что вы должны разрешить роботу Google доступ к файлам JavaScript, CSS и изображениям, которые используют ваши страницы. Это обеспечивает оптимальную визуализацию и индексацию вашего сайта. Запрещение сканирования файлов Javascript или CSS в файле robots.txt вашего сайта напрямую влияет на то, насколько хорошо наши алгоритмы отображают и индексируют ваш контент, и может привести к неоптимальному ранжированию.

По умолчанию файл Joomla robots.txt поставляется с запрещением:

Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Посоветуйте, пожалуйста, удаляем ли мы нижеуказанные элементы из файла robots.txt на основании объявления Google?

Disallow: /components/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/

Это то, что рекомендуется согласно объявлению для сайтов, основанных на Joomla?

Честно говоря, вам лучше удалить все из вашего robots.txt. Насколько я вижу, все файлы PHP в Joomla содержат строку

defined('_JEXEC') or die;

Это означает, что если вы загрузите PHP-файл прямо в браузер, все, что вы получите, - это пустой файл, который поисковые системы будут игнорировать. (Они никогда не должны сталкиваться с ними в любом случае, если вы не связали их напрямую.)

Проблема с блокировкой некоторых из этих каталогов состоит в том, что некоторые компоненты и модули хранят свои файлы CSS / JS внутри этих соответствующих каталогов, а не в предпочитаемых папках media или images.

Так что нет никаких причин блокировать любые файлы Joomla от Google.

Помимо общего использования / отсутствия такового robots.txtна хорошо управляемом сайте Joomla с «хорошими» сторонними расширениями - единственные места, которые должны содержать CSS, JS или изображения:

/images
/media
/templates

и, конечно, их подкаталоги .

Таким образом, вы можете просто удалить их из robots.txt.

В Joomla 3.3 эти строки были удалены из файла robots.txt:

Disallow: /templates/
Disallow: /media/

Более подробная информация здесь: http://www.energizethemes.com/blog/joomla/have-you-updated-the-joomla-robots-txt-file.html

Если вы видите свои страницы без ошибок при загрузке как Google в WMT, то вы, вероятно, в порядке. Но в будущем вы можете обновить контент на своем сайте, что потребует некоторых скриптов / CSS из некоторых заблокированных папок. Поэтому я думаю, что вам может быть лучше разрешить поисковым системам сканировать все эти папки, содержащие CSS / JavaScript.

Самые последние версии Joomla больше не блокировать /media/и /templates/папки:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Не все расширения соответствуют рекомендациям о том, где размещать файлы CSS, JS и т. Д., Поэтому хороший способ обойтись - разрешить Google доступ к этим файлам независимо от того, где они находятся.

Вы можете добиться этого, вставив несколько строк в начало вашего robots.txtфайла следующим образом:

#Googlebot
User-agent: Googlebot
Allow: *.css
Allow: *.js

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

РЕДАКТИРОВАТЬ:

Спасибо @ w3dk и @Stephen Ostermiller за отзывы! Ты совершенно прав. Лучше сделать что-то вроде этого:

User-agent: *
Allow: *.css
Allow: *.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

К сожалению, это не работает должным образом, потому что более длинные (более конкретные) правила переопределяют более короткие правила, а разрешающие строки игнорируются. Похоже, не имеет значения, следует ли линиям разрешения следовать линиям запрета или наоборот.

Единственный способ, которым я могу обойти это, - это сделать что-то вроде этого, которое, кажется, работает, когда я тестирую это в Инструментах для веб-мастеров:

User-agent: *
Allow: /************************************************************.css
Allow: /************************************************************.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

РЕДАКТИРОВАТЬ 2 - ЛУЧШЕЕ РЕШЕНИЕ:

Итак, я провел небольшое исследование и нашел ответ на https://stackoverflow.com/a/30362942/1983389

Это представляется наиболее правильным и наиболее поддерживается решение во всех веб - сканерам что - то вроде следующего (предоставление доступа к *.cssи *.jsфайлам в /bin, /cache, /installation, /language, /logs, и /tmpпапки и , возможно , некоторые из других папок имеет мало смысла):

User-agent: *
Allow: /administrator/*.css
Allow: /administrator/*.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Allow: /cli/*.css
Allow: /cli/*.js
Disallow: /cli/
Allow: /components/*.css
Allow: /components/*.js
Disallow: /components/
Allow: /includes/*.css
Allow: /includes/*.js
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Allow: /layouts/*.css
Allow: /layouts/*.js
Disallow: /layouts/
Allow: /libraries/*.css
Allow: /libraries/*.js
Disallow: /libraries/
Disallow: /logs/
Allow: /modules/*.css
Allow: /modules/*.js
Disallow: /modules/
Allow: /plugins/*.css
Allow: /plugins/*.js
Disallow: /plugins/
Disallow: /tmp/