Где хранится файл robots.txt для установки WordPress Multisite?

9

Инструменты Google для веб-мастеров могут видеть его, но я не могу его найти. Любая идея о том, как это генерируется или где это файловая структура? Я не вижу файл в моем корне. Мой веб-сайт находится по адресу http://mikewills.me, а URL-адрес файла robots.txt - http://mikewills.me/robots.txt .

В конце концов, Google не индексирует мой сайт, и я пытаюсь выяснить, как отредактировать robots.txt, чтобы индексация была разрешена. Я изменил параметр конфиденциальности, чтобы разрешить индексирование, но это не обновило файл robots.txt.

multisite

— Майк Уиллс
источник

Ссылка на сайт? robots.txt вряд ли имеет какое-либо отношение к WP ...

— Rarst

11

Он динамически генерируется функцией do_robots(), которая имеет действие ( do_robotstxt) и фильтр ( robots_txt). Если вы создадите robots.txtфайл в своем корне WordPress, он (вероятно) будет /robots.txtобработан при запросе, в противном случае обработка вернется к WordPress.

Ваш текущий файл выглядит так:

User-agent: *
Disallow:

Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz

Первые две настройки подходят для индексируемого блога. Таким образом, вы можете просто ждать Google на данный момент. Может быть, вам нужно запросить пересмотр вашего сайта .

— Анника Бэкстрем
источник

Спасибо за информацию. Я был под этим предположением. Мне было страшно видеть Disallow. Так что все в порядке тогда?

— Майк Уиллс

2

@Mike: Да, это нормально. Теперь вы говорите: «Привет, роботы, чьи User-agentсоответствия *(то есть все роботы), список страниц, к которым у тебя нет доступа [empty]». Это означает, что они могут получить доступ ко всем страницам.

— Ян Фабри

Добавление robots.txt в корневой каталог, похоже, не работает, но по-прежнему работает с сгенерированным WordPress. Нет ли способа добавить или изменить robots.txt без установки плагина?

— Ник

3

robots.txt создается динамически. Файл robots.txt отсутствует. Установка плагина robot.txt решит вашу проблему. Надеюсь это поможет

— user1167
источник