Я только что обновил свой файл robots.txt на новом сайте; Инструменты Google для веб-мастеров сообщают, что прочитали мой файл robots.txt за 10 минут до моего последнего обновления.
Можно ли как-нибудь посоветовать Google перечитать мой robots.txt как можно скорее?
ОБНОВЛЕНИЕ: под конфигурацией сайта | Crawler Access | Тест robots.txt:
Доступ к домашней странице показывает:
Робот Googlebot заблокирован с сайта http://my.example.com/
К вашему сведению: файл robots.txt, который Google последний раз читал, выглядит следующим образом:
User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /
Я выстрелил себе в ногу, или он в конечном итоге будет читать: http: ///robots.txt (как это было в прошлый раз, когда он читал это)?
Любые идеи о том, что мне нужно сделать?