Они приходят из веб-скребков, неправильно используя Yahoo! Результат поиска . Это открытие было сделано @tenants на форуме XenForo . Они объясняют больше последствий получения этих запросов и как они обрабатывают их.
1. Как вы думаете, мы должны быть обеспокоены этими запросами?
Вам не нужно беспокоиться об этих запросах. Они просто отличительные черты тупых ботов, и глупые боты бродят по всему Интернету. Эти запросы не должны быть идентифицированы как вредоносные только на основе URL, они, вероятно, невиновны.
2. Что эти запросы пытаются архивировать?
Они пытаются получить содержимое запрашиваемой страницы. У них нет особого эффекта, они (нежелательные) продукты Yahoo! Поиск соскоба.
3. Что мы можем сделать, чтобы остановить их?
Не совсем, каждый может свободно размещать любые запросы в сети . (По крайней мере, технически. Социальные и правовые аспекты оставлены в стороне.)
Вы можете выбросить их при создании отчетов из ваших журналов. Это вариант, который я выбрал.
Или вы можете попытаться исправить запросы, чтобы они не выполнялись, а не создавать записи в журнале . Это, вероятно, то, что большинство делают из того, что я видел в Интернете. Я вижу недостаток в этом подходе. Делая опыт своих посетителей лучше, они забывают, кто эти посетители. Тупые боты. Я не хочу, чтобы на моих сайтах появлялись тупые боты, поэтому я не буду беспокоиться об их улучшении.
Если вы хотите исправить запросы, вы можете сделать это с помощью мод-переписанвозможно, вызванный из .htaccessнапример, используя код из поста на форуме XenForo, о котором я упоминал выше:
RewriteEngine On
# strange behaving bots, these are urls scraped from yahoo (botters scrapping for links, yahoo search link contain RK RS) tenants modification:
RewriteRule ^(.*)RK=0/RS= /$1 [L,NC,R=301]
RewriteRule ^(.*)RS=^ /$1 [L,NC,R=301]
Возможно, вам придется немного поиграть с регулярными выражениями, например, добавить дополнительную косую черту после, (.*)
если ваши URL не заканчиваются таковой.
связанные с
Престижность ответа @ dman на Stack Overflow и комментария @webaware по этому вопросу для поиска сообщения на форуме XenForo.