Вопросы с тегом «robots.txt»

Robots.txt - это текстовый файл, используемый владельцами веб-сайтов для предоставления инструкций об их сайте веб-роботам. В основном это говорит роботам, какие части сайта открыты, а какие закрыты. Это называется протоколом исключения роботов.

4
Как остановить индексирование определенных URL
Когда я печатаю site:example.com(очевидно, используя свой домен), я получаю несколько ошибок в ссылках, которые отображаются в списке. Как правило, они имеют вид:/some/fixed/path/admin/unblockUser/11 Я подумываю добавить следующую строку в мой robots.txtфайл: Disallow: /some/fixed/path/admin/*
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.