Вопросы с тегом «robots.txt»

Я только что обновил свой файл robots.txt на новом сайте; Инструменты Google для веб-мастеров сообщают, что прочитали мой файл robots.txt за 10 минут до моего последнего обновления. Можно ли как-нибудь посоветовать Google перечитать мой robots.txt как можно скорее? ОБНОВЛЕНИЕ: под конфигурацией сайта | Crawler Access | Тест robots.txt: Доступ к …

22 google  robots.txt  google-webmaster-tools 

Для того, чтобы: Повысить безопасность моего сайта Уменьшить требования к пропускной способности Запретить сбор адресов электронной почты

14 performance  security  robots.txt 

Я пытаюсь установить robots.txtдля всех виртуальных хостов под nginx http-сервер. Я смог сделать это в Apache, поставив в основном следующее httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Я попытался сделать что-то похожее с nginx, добавив приведенные ниже строки (a) в nginx.conf и (b), включая include.d / robots.conf location …

13 nginx  robots.txt 

У нас есть настройка веб-сервера разработки XAMPP Apache с виртуальными хостами, и мы хотим, чтобы serps не сканировал все наши сайты. Это легко сделать с помощью файла robots.txt. Тем не менее, мы бы не хотели включать disallow robots.txt в каждый vhost, а затем должны были бы удалить его, когда начали …

10 apache-2.2  php  robots.txt