Огромный всплеск прямого движения из одного конкретного города

В прошлом месяце я заметил, что количество прямых посещений нашего сайта увеличилось почти на 150%, а показатель отказов также значительно вырос.

После дальнейшего бурения я вижу, что у нас было почти 2000 прямых посещений одного города в Коннектикуте под названием Стэмфорд, с показателем отказов 100%!

Я искал ответы, но я могу только обнаружить, что это может быть связано с нашим инструментом мониторинга времени безотказной работы; Pingdom.

Кто-нибудь знает / имеет какой-либо опыт с этим видом проблемы, любая помощь приветствуется

• Я только что заметил, что мы получаем одинаковый трафик в городе в Англии и городе в Шотландии ... Это определенно заставляет меня думать, что это связано с нашим инструментом мониторинга времени безотказной работы.

Чтобы определить причину странных локальных всплесков трафика, которые, как представляется, не от посетителей-людей, требуется терпение и детективная работа, но основные шаги:

1. Узнайте, откуда это исходит, используя доступные вам инструменты (см. Ниже).

2. Определите, является ли это опасным или нет, проанализировав источники запроса, частоту, сами заголовки запроса и влияние на вашу сеть и сервер (ы).

3. Решите, следует ли блокировать его только в Google Analytics, просто чтобы он не появлялся в вашей статистике (с помощью фильтра Google Analytics), чтобы заблокировать его на сервере, чтобы он никогда не попадал на ваш сайт в будущем (с помощью брандмауэра или такой службы, как Cloudflare ) или вообще игнорировать.

Я не буду подробно описывать здесь последствия для безопасности, потому что вы, похоже, больше обеспокоены влиянием, которое это оказывает на ваши аналитические данные. Вот некоторые наблюдения по этому конкретному случаю с некоторыми указателями, чтобы определить возможный источник и отфильтровать нежелательный трафик в Google Analytics:

Это, вероятно, не Pingdom

Пики Google Analytics вряд ли будут посещать Pingdom по двум причинам:

• HTTP-проверки Pingdom не анализируют JavaScript , поэтому они не будут запускать встроенные сценарии Google Analytics. (Вчера я дважды проверил это с командой поддержки Pingdom, потому что я тоже использую Pingdom и мне было любопытно. Вот прямая цитата из их письма поддержки: «Поскольку наша проверка HTTP не выполняет никакого кода JavaScript, Google Analytics не будет иметь никакого записи о наших посещениях наших зондовых серверов вашим сайтом. " )

• У Pingdom в настоящее время нет серверов в Эдинбурге. Они перечисляют все свои Probe-серверы с IP-адресом и местоположением на странице панели управления (ссылка «Probe-серверы» в правом нижнем углу всех страниц администратора Pingdom, когда вы вошли в систему). Единственные два, перечисленные в Великобритании, сейчас находятся в Манчестере и Лондоне.

Но вы не должны поверить на мое слово. Если всплески продолжаются, и вы хотите подтвердить, что Pingdom не является причиной внезапных посещений и скачков показателя отказов, вы можете:

1. Приостановите запросы Pingdom на ваш сайт и посмотрите, исчезнут ли попадания из этих областей. (Я подозреваю, что это не будет иметь значения.)

   - или -

2. Настройте страницу по адресу example.com/pingdom/any-url-you-like, направьте свои запросы Pingdom на эту страницу вместо своей домашней страницы и исключите /pingdom/подкаталог из результатов Google Analytics, удалив код отслеживания Google Analytics на этой странице, или (b) используя фильтр для исключения страницу в Google Analytics, если вы не можете удалить код отслеживания для каждой страницы (например, если вы используете CMS, включающую код на каждой странице, и у вас недостаточно прав для изменения этого поведения).

Как фильтровать запросы с помощью Google Analytics

Это необходимо, только если вы подозреваете, что Pingdom выполняет синтаксический анализ JavaScript, и нет никаких признаков того, что он это делает, но фильтрация посещений из Pingdom, как это, является одним из способов проверить, хотите ли вы успокоиться. Также полезно узнать, как это сделать, чтобы в будущем можно было отфильтровать другие типы посещений, если вам необходимо:

1. Войдите в Google Analytics и нажмите ссылку «Администратор» (вверху справа, рядом с «Справка»)

2. Нажмите на доменное имя или имя сайта для профиля, который вы хотите фильтровать. (например example.com)

3. Нажмите на вкладку «фильтры».

4. Нажмите «+ Новый фильтр».

5. Дайте фильтру имя и оставьте «Предопределенный фильтр» выбранным.

6. Выберите "Исключить ... трафик в подкаталоги ..., которые равны" из раскрывающихся списков.

7. Введите /pingdom/в поле «Подкаталог» и оставьте «С учетом регистра» значение «Нет».

Это должно быть результатом, когда вы закончите:

Сохраните эти настройки, затем переназначьте чеки Pingdom example.com/pingdom/any-page-or-url-that-exists, и Google Analytics теперь будет фильтровать посещения по этому URL. (Вы все равно будете получать базовые отчеты о работоспособности сервера, даже если Pingdom больше не будет указывать на вашу домашнюю страницу.)

Если это не Pingdom, откуда эти хиты?

Вы можете попытаться выяснить это несколькими способами:

1. Посмотрите, какая сеть отправляет вам наиболее оживленный трафик. Чтобы сделать это с помощью Google Analytics, посмотрите раздел «Стандартные отчеты» для своего сайта, затем выберите «Аудитория»> «Технологии»> «Сеть» с левой стороны. Наконец, с выбранным режимом круговой диаграммы (по умолчанию), выберите «Вклад в общее количество ... Отказов» из выпадающего меню справа:

Вы увидите список интернет-провайдеров или сетевых провайдеров, чьи пользователи внесли свой вклад в показатель отказов. Иногда это будет маленький, конкретный интернет-провайдер, которого можно отследить в одной области или бизнесе. Вооружившись именем сетевого провайдера, отправляющего вам перенаправляющий трафик, вы можете выбрать фильтрацию этой конкретной сети из Google Analytics, как описано выше, но фильтрацию по сети, а не по поддомену.

В других случаях топ-провайдер в списке будет крупный отечественный провайдер, у которого могут быть миллионы клиентов, и вы не будете мудрее. На этом этапе Google Analytics не может помочь вам детализировать и определить, кто из клиентов этого провайдера отправляет повторяющийся отбитый трафик (потому что Analytics больше не включает информацию об IP-адресе или другие идентифицирующие данные). Чтобы получить такие данные, вы можете использовать другого поставщика статистики, который регистрирует IP-адреса (например, Clicky ), или вы можете анализировать журналы вашего сервера, которые также регистрируют доступ по IP-адресу:

2. Изучите журналы доступа вашего веб-сервера, чтобы изучить посещения известных сканеров и найти повторный доступ с того же IP-адреса. В этом вам может помочь веб-инструмент статистики, такой как AWStats. Он довольно популярен среди определенных веб-хостов, и они, возможно, уже установили его для вас.

Вот пример выходных данных AWStats . Два важных раздела для вас - «Хозяева» и «Роботы / посетители-пауки».

Раздел хостов может дать вам подсказки относительно того, какие IP-адреса обращались к сайту, чтобы вызвать отскоки (и вы можете затем отфильтровать эти IP-адреса в Google Analytics). Раздел «роботы / пауки» может давать советы о любых сканерах или автоматизированных скриптах, которые обращаются к вашему сайту и могут использовать JavaScript. Если вы не знаете, как читать журналы сервера или получать к ним доступ, обратитесь за помощью к своему хостинг-провайдеру.

Есть IP-адрес? Узнайте, кто его использует.

Если вам удается получить IP-адрес из раздела «Хосты» в AWStats или где-либо еще, вы можете выполнить обратный просмотр IP-адреса, чтобы определить, кто может его использовать.

Обратный IP-поиск часто дает вам имя хостинг-провайдера, которому вы можете сообщить о нарушении, если вы считаете, что запросы являются вредоносными. Или он может дать вам имя местного интернет-провайдера, клиент которого использует автоматизированную систему сценариев в попытке использовать ваш веб-сайт. Как правило, вы можете отправлять отчеты о нарушении abuse@example.com, где example.comуказано имя хостинг-провайдера или интернет-провайдера. И, иногда, он предложит название конкретной компании, с которой вы можете связаться для получения дополнительной информации.

Является ли это Pingdom или нет, зависит от того, какие настройки вы установили для службы Pingdom.

Если он настроен на выполнение http-запросов, то да, вероятно, это Pingdom. Если он не использует http-запросы (только ping или другие сервисы), тогда это не будет Pingdom, но я предполагаю, что вы используете http-запросы.

Я не использую Pingdom, поэтому я не знаю, если у вас есть контроль над частотой их тестов. Если можешь, то отлично. Если нет, вы можете просто использовать тесты ping, но это не будет гарантировать, что веб-сайт работает - только то, что сервер работает.

Если вы не можете уменьшить частоту тестов Pingdom и количество генерируемого трафика проблематично, то вам просто придется отказаться от него. Однако 2000 запросов в месяц, вероятно, не будут большой проблемой - они просто по-королевски испортят аналитическую информацию на вашем сайте.

Вы можете попытаться обойти это, изолируя запросы Pingdom и ища шаблон. Затем, если у вас есть собственные аналитические сценарии, вы можете обнаружить шаблон и удалить IP-адреса, которые придерживаются шаблона, из ваших аналитических результатов. Тем не менее, вы можете решить, что это не стоит хлопот, и просто имейте в виду количество ложных совпадений, генерируемых Pingdom каждый месяц.

Надеюсь, это поможет.

Есть хорошая статья о том, как идентифицировать и отфильтровать трафик ботов на ваш сайт Pingdom, включенный в эту статью http://www.blastam.com/blog/index.php/2012/06/block-web-monitoring-bots-in -google-analytics / слишком долго, чтобы копировать здесь

Знаете ли вы, что если вы используете сервис, такой как Keynote, для мониторинга производительности вашего сайта, это влияет на ваши веб-показатели? Такие службы, как Keynote, Gomez, AlertSite, Pingdom и многие другие, используют реальный веб-браузер для повторного посещения вашего сайта в течение дня для измерения производительности во время загрузки. Они загружают ваш сайт из разных мест по всему миру с помощью реальных браузеров, которые выполняют JavaScript-код отслеживания Google Analytics.

Это, вероятно, Site Confidence ака NCC Group.

Для нашего сайта небольшое исследование с фильтрами GA показало, что все загадочные хиты из Эдинбурга и Стэмфорда были с ПК с Windows 7, IE8, но с разрешением 800x600, которое выглядело несколько подозрительно.

Мы проверяли наши журналы на наличие хитов с помощью IE 8 и быстро находили схему хитов каждые 5 минут; обратный DNS на этих IP-адресах, и они из Site Confidence - что имеет большой смысл, так как мы попросили их сделать это.

Это, вероятно, само собой разумеется, но вполне вероятно, что это необнаруженная автоматизированная деятельность. Любое действие, которое сильно искажает (100% отказов), вполне вероятно, будет поведением бота, которое каким-то образом проходит через бот-фильтры GA.

Если вы можете, нарезать эти посещения браузером / агентом; если бы они все были одним агентом (что я бы догадался), это увеличило бы шансы на автоматизированную деятельность.