Вопросы с тегом «web-crawler»

Я обнаружил, что McAfee SiteAdvisor сообщил о моем веб-сайте как «возможно, проблемы с безопасностью» . Меня мало волнует, что McAfee думает о моем веб-сайте (я могу защитить его сам, и если нет, то McAfee определенно не та компания, за которую я бы обратился за помощью, большое спасибо). Что меня беспокоит, …

30 web-crawler 

Как крупные сайты (например, Википедия) имеют дело с ботами, которые находятся за другими IP-маскировщиками? Например, в моем университете все ищут Википедию, что создает для нее значительную нагрузку. Но, насколько я знаю, Википедия может знать только IP-адрес университетского маршрутизатора, поэтому, если я настрою «освобожденного» бота (с небольшой задержкой между запросами), сможет …

12 web-crawler 

У меня проблема с неким человеком, который продолжает агрессивно чистить мой сайт; тратить трафик и ресурсы процессора. Я уже внедрил систему, которая отслеживает журналы доступа к моему веб-серверу, добавляет каждый новый IP-адрес в базу данных, отслеживает количество запросов, сделанных с этого IP-адреса, и затем, если тот же IP-адрес превышает определенный …

10 ip  isp  whois  web-crawler  ip-blocking 

Я установил Apache некоторое время назад, и быстрый просмотр моего access.log показывает, что подключаются все виды неизвестных IP-адресов, в основном с кодом состояния 403, 404, 400, 408. Я понятия не имею, как они находят мой IP, потому что я использую его только для личного использования, и добавил robots.txt, надеясь, что …

8 apache-2.2  web-crawler