Вопросы с тегом «bingbot»

В настоящее время я перенаправляю все не-HTTPS-соединения на HTTPS и поддерживаю TLS v1, TLS v1.1 и TLS v1.2. Я перенастроил свой тестовый сервер так, чтобы он принимал только очень ограниченный и безопасный набор шифров и только TLSv1.2. После запуска теста SSL Labs я заметил, что их диаграмма совместимости показывает, что …

12 seo  search-engines  https  googlebot  bingbot 

Написав несколько ботов и увидев огромное количество случайных ботов, которые сканируют сайт, я задаюсь вопросом, как веб-мастер, каких ботов действительно стоит пускать на сайт? Сначала я подумал, что размещение ботов на сайте потенциально может принести на него реальный трафик. Есть ли какая-либо причина, по которой боты, о которых неизвестно, посылают …

11 seo  web-crawlers  robots.txt  googlebot  bingbot