Вопросы с тегом «user-agent»

У нас были некоторые серьезные проблемы с (невероятно) плохо написанным пауком в прошлом , и в результате мы заблокировали их. Марко Армент из Tumblr также поделился с нами своими разочарованиями 31.08.2009, что послужило причиной того, что мы заблокировали их. [Паук Yahoo] затопляет нас 70-200 запросов в секунду примерно с 5:30 …

25 user-agent  bing  yahoo  web-crawlers 

Есть бот Ask, который устанавливает этот заголовок: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Учитывая это, у меня есть следующие вопросы: Если я пишу веб-сканер с именем Goofy, какой пользовательский агент мне следует использовать? Какая разница, если я поставлю Mozilla/2.0или Mozilla/5.0? Любые другие предложения о том, как мне отформатировать мой пользовательский агент для …

18 user-agent  web-crawlers 

Мои журналы полны посетителей ботов, часто из Восточной Европы и Китая. Боты идентифицированы как Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou и так далее. Должен ли я заблокировать этих ботов с моего сайта и почему? Какие из них имеют законную цель в увеличении трафика на мой сайт? Многие из них являются SEO. …

12 seo  web-crawlers  user-agent 

Как мне интерпретировать пустой User-agent? У меня есть некоторый код аналитики, и этот код должен анализировать только человеческий трафик. У меня есть рабочий список User-агентов, обозначающий человеческий трафик и бот-трафик, но пустой User-agent оказывается проблематичным. И я получаю много трафика с пустым User-agent, около 10%. Кроме того, я обработал список …

12 apache  analytics  http  user-agent  logging 

Пользовательский агент в любом обычном браузере содержит «бот» или «ползать»? Я проверяю пользовательский агент на своем сайте, чтобы узнать, идет он от бота или нет. Если это так, я могу сделать несколько небольших оптимизаций, поскольку они не входят в систему. (Я не изменяю содержание вообще) После добавления проверок для 30-40 …

11 user-agent 

Записи журнала доступа Apache на моем сайте обычно выглядят так: 207.46.13.174 - - [31 / Oct / 2016: 10: 18: 55 +0100] "GET / contact HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (совместимо; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) "0.607 MISS 10.10.36.125:104 0.607 так …

10 joomla  user-agent  apache-log-files  botattack 

Могут ли пользовательские агенты быть перечислены вместе, а затем следовать их общим правилам, как в robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

10 web-crawlers  robots.txt  user-agent 

Я запустил небольшой веб-сканер и должен был решить, какой пользовательский агент использовать для него. Списки агентов поиска и Wikipedia предлагают следующий формат: examplebot/1.2 (+http://www.example.com/bot.html) Однако некоторые боты опускают знак плюс перед URL. И мне интересно, что это значит, в первую очередь, но не смог найти никакого объяснения. RFC 2616 считает …

10 web-crawlers  http  user-agent 

У меня есть сайт, который по нормативным причинам не может быть проиндексирован или произведен автоматический поиск. Это означает, что мы должны держать всех роботов подальше и не дать им спайдеринг сайта. Очевидно, у нас был файл robots.txt, который запрещает все с самого начала. Однако наблюдение за файлом robots.txt - это …

9 apache  web-crawlers  user-agent 

(Вопрос щедрости внизу) У меня проблема с клиентом, обращающимся к нашему сайту, и основная причина в том, что WAF (брандмауэр веб-приложений) не нравится их строка User-Agent: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0; C7QcSBPWTsrpX5YLvVZMqiujEZLWPtOYk3tDZ9WhW18=) Gecko/20100101 Firefox/34.0 В этом случае строка в кодировке base64 вызывает ложный положительный результат в WAF, который считает, …

8 user-agent 

Что вы используете для обнаружения мобильного телефона посетителя, вплоть до модели, если это возможно? В настоящее время мы поддерживаем собственную базу данных, но она действительно отстает из-за нехватки персонала для ее обслуживания, поэтому мы решили попробовать стороннее решение. Это мои кандидаты, но у меня нет времени, чтобы действительно попробовать их …

8 mobile  user-agent  browser-detecting 

У меня есть специальное кодирование, которое работает только для браузеров HTML5 (простая геолокация). Я хочу перенаправить пользователей iPhone и Android на версию моего сайта m.example.com. Как лучше всего это сделать?

8 iphone  android  redirects  user-agent