Мне не нравится, что я вижу много 404 ошибок в access.log моего веб-сервера. Я получаю эти ошибки, потому что сканеры пытаются открыть файл robots.txt , но не могут его найти. Поэтому я хочу разместить простой файл robots.txt , который предотвратит появление 404 ошибок в моем файле журнала.
Какой минимальный допустимый файл robots.txt позволяет сканировать все на сайте?
Ответы:
Как указано здесь , создайте текстовый файл с именем robots.txt в каталоге верхнего уровня вашего веб-сервера. Вы можете оставить его пустым или добавить:
User-agent: *
Disallow:
Если вы хотите, чтобы роботы все сканировали . Если нет, то смотрите ссылку выше для большего количества примеров.
Лучший минимум robots.txt- это совершенно пустой файл.
Любые другие «нулевые» директивы, такие как пустые Disallowили Allow: *не только бесполезные, потому что они не используются, но и добавляют ненужную сложность.
Если вы не хотите, чтобы файл был полностью пустым - или вы хотите сделать его более понятным для человека - просто добавьте комментарий, начинающийся с #символа, например # blank file allows all. Сканеры игнорируют строки, начинающиеся с #.
Я бы сказал это;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Это позволит Google сканировать все, но не позволит Google сканировать вашу панель aadminn. Что является идеальной ситуацией для вас.