Хотя попытка заблокировать ботов может помочь освободить ресурсы и очистить ваши логи, важно отметить, что robots.txt и даже использование мета-тега на страницах noindex на самом деле не мешает ботам посещать ваш сайт. Они по-прежнему могут время от времени сканировать ваш сайт, чтобы увидеть, был ли удален запрет от роботов. Многие боты даже не используют пользовательский агент и будут использовать стандартный пользовательский агент. Боты, о которых я говорю, - это, как правило, SEO-роботы, которые сканируют обратные ссылки, а не общие, которые вы найдете в поисковых системах.
Вместо того, чтобы блокировать ботов, вы должны просто учитывать эти боты при подсчете посетителей, а через некоторое время после активного мониторинга вашего сайта вы получите приблизительную цифру, то есть боты. Большинство людей заботятся об уникальных посещениях, и это исключает ботов, так как они постоянно возвращаются. В наше время существует множество серверов, разделяющих хостинг, которые могут обрабатывать этих ботов, кроме страниц, которые вы не хотите индексировать. Я не вижу причин, по которым нужно блокировать этих типов ботов. Конечно, у вас есть и вредоносные боты, но они точно не будут использовать пользовательский агент;).
Лично я считаю, что блокирование роботов - пустая трата времени, поскольку они не используют столько ресурсов вообще, SEO-роботы могут помочь, поскольку они размещают ваш сайт на страницах PR0, что, конечно, увеличивает ваш PageRank и там автоматически, так что вы не будете наказаны ими.
Логи Проблема
Вы должны использовать правильный просмотрщик журналов, который позволяет вам отфильтровывать определенные запросы, это облегчает просмотр ваших журналов. Хорошие зрители могут отфильтровать множество вещей, таких как обычные посещения, 404-е и так далее.