Как отбиться от спамеров реферера Google Analytics?

43

В последние месяцы в моей статистике GA много спамеров-рефереров. Их количество в ~ 10 раз превышает количество легальных посетителей (мой сайт пока не очень популярен). Я включил опцию, чтобы скрыть известных спаммеров в настройках GA, но это не помогло вообще. Кажется, что эти спаммеры используют сценарии для спама непосредственно в GA (то есть они не зарегистрированы в моем IIS).

Что я могу сделать, чтобы остановить этих спаммеров?

UPD 10 месяцев спустя, и они начали рассылать спам, используя поддельные имена целевых страниц ... и Google до сих пор ничего не делает с этим.

— user626528
источник

1

Пожалуйста, проверьте файлы журналов на наличие хитов с реферером и дайте нам знать, если вы их видите. Если вы можете, отредактируйте вопрос и включите спам реферера в вопрос. Я подозреваю, что уже знаю ответ. Я провожу некоторые исследования, и в последнее время наблюдается значительная активность рефереров, некоторые из которых я испытал сам. Кроме того, если у вас установлен WordPress, пожалуйста, убедитесь, что он обновлен. Один из сайтов, похоже, тоже работает после уязвимостей WP. Кроме того, не посещайте ни один из этих сайтов, если вы не используете текстовый браузер, такой как Curl.

— closetnoc

@closetnoc, эти спаммеры не зарегистрированы на моем сервере. Как я уже писал, они рассылают спам напрямую в GA. Я не использую WP. «включить спам реферера в вопросе» - что вы имеете в виду?

— user626528

Я знаю, кто они, и я отправил ответ.

— closetnoc

Определенно, лучший и самый простой способ предотвратить это - использовать referrerspamblocker.com. Это автоматическая настройка фильтров в Google Analytics. Использую его уже несколько месяцев.

— Роди ван Самбек

Помогает ли настройка «фильтрация ботов» на true в настройках Google Analytics решить проблему? - lunametrics.com/blog/2014/08/07/…

— Сэм

7

Спам выходит из-под контроля. Список растет, и отнимает много времени и даже неэффективно добавлять фильтр для каждого из спамеров, так как большинство из них появляется в течение нескольких дней, а затем исчезает и появляется новый.

Существует много дезинформации, самая распространенная ошибка - рекомендовать использовать .htaccess , этот файл блокирует доступ к веб-сайту, хотя существует несколько сканеров (5 или 6), которые могут быть заблокированы, подавляющее большинство спама Никогда не заходите на ваш сайт Ghost Spam.

Лучший способ , чтобы остановить этот тип спам (Ghosts) является создание действительного имени хоста фильтра , использование спам - призрак либо поддельные или не установлен имя хоста, так и с помощью этого фильтра вам не нужно , чтобы добавить бесконечные фильтры, один фильтр будет принимать Забота о старом и новом спаме. , Успешно использовал это решение в течение 3 месяцев.

Больше информации об этом методе здесь:

https://stackoverflow.com/a/28354319/3197362

— Карлос Эскалера Алонсо
источник

Я рад, что это - принятый ответ, это действительно должно быть более оценено. Подавляющее большинство источников спама в Google Analytics - это источники-призраки. Есть некоторые, с которыми вам нужно блокироваться .htaccess, но это постоянная битва, чтобы не дать им исказить фигуры (Семальт - главный виновник этого - законный бот моя тетя Фанни).

— GeoffAtkins

О, Карлос, я собираюсь порекомендовать руководство по борьбе со спамом на вашем сайте . Я знаю, что этот комментарий будет восприниматься как способ SEO / продажи, но это не так. Я действительно восхищаюсь вашим вкладом в это руководство.

— Ooker

35

Хорошо. Не зная сайтов, о которых идет речь, я постараюсь объяснить, что происходит, и приведу лишь несколько ссылок.

От: http://www.cradlecloud.com/ban-block-blackhatworth-com-spam-referrals/

Я получаю следующие доменные имена, связанные с новым методом спам-реферера, который люди видят в последнее время.

BlackHatWorth.com
Iskalko.ru
Lomb.co
Lombia.co
Econom.co
Darodar.com
ILoveVitaly.Com
Priceg.com
Hulfingtonpost.com (добавлено 16 января 2015 г.)
Bestwebsitesawards.com (Новое - добавлено 3 февраля 2015 г.)
Ranksonic.info (добавлено 3 февраля 2015 г.)
Cenoval.ru (добавлено 6 февраля 2015)
oo-6-oo.com (Новое - добавлено 25 февраля 2015)
Humanorightswatch.org (добавлено 4 марта 2015 г.)
S.click.aliexpress.com (Новое - добавлено 17 марта 2015 - подозревается)
www1.social-buttons.com (Новое - добавлено 23 марта 2015 - Подозреваемый)
4webmasters.org (Новое - добавлено 26 марта 2015 - Подозреваемый)
Googlsucks.com (Новое - добавлено 07 апреля 2015 г.)
Addons.mozilla.org (Новое - добавлено 07 апреля 2015 - подозревается)
Smallseotools.com (Новое - добавлено 13 апреля 2015 г. - Подозревается)
Theguardlan.com (Новое - добавлено 14 апреля 2015 г.)
Buy-cheap-online.info (Новое - добавлено 16 апреля 2015 - подозревается)
Site1.free-share-buttons.com (Новое - добавлено 29 апреля 2015 - подозревается)
Sanjosestartups.com (добавлено 25 мая 2015 г.)
Trafficmonetize.org (Новое - добавлено 3 июня 2015 г. - Подозревается)
Howtostopreferralspam.eu (Новое - добавлено 09 июня 2015 - Подозреваемый)
Www10.free-social-buttons.com (Новое - добавлено 16 июня 2015 г. - Подозревается)
Getitfree.us (Новое - добавлено 18 июня 2015. Право собственности не может быть определено. Спасибо - Трей Коупленд)
Www6.free-social-buttons.com (Новое - добавлено 18 июня 2015 г. - Подозревается)
Erot.co (добавлено 26 июня 2015 г. - подозревается)
3g2upl4pq6kufc4m.onion (Новое - добавлено 04 июля 2015 г. - подозревается)
Traffic2money.com (Новое - добавлено 28 июля 2015 г. - Подозревается)

Примечание: Подозреваемые предметы - похоже, имеют одинаковую форму собственности и не могут быть привязаны к одному и тому же преступнику.

Довольно исчерпывающий список источников спама, поддерживаемых Piwik, можно найти здесь: https://github.com/piwik/referrer-spam-blacklist/blob/master/spammers.txt (Спасибо - user2428118)

Цитировать:

BlackHatWorth.com - это относительно новый домен, созданный только 7 января 2015 года, который в настоящее время используется для рассылки спам-ссылок. На самом деле, этот реферальный спам-сайт скрывается за названием поисковой системы покупок и красивыми пейзажными изображениями.

... IP-адрес BlackHatWorth.com, который является 78.110.60.230, является тем же, который связан с другими сайтами реферального спама ...

Фактически, домен BlackHatWorth.com принадлежит тому же россиянину, которому принадлежат другие спам-домены рефералов, такие как ILoveVitaly.com, Econom.co и Darodar.com. Имя владельца домена предположительно Vitaly A Popov из Самара (город), Самарская область (Россия), Россия.

Вы не можете заблокировать это!

От: http://www.blackmoreops.com/2014/12/19/darodar-com-referrer-spam/

Цитировать:

Вот краткое руководство о том, как работает Google Analytics.

Итак, вы настраиваете GA и получаете код от них. Код выглядит как UA-номер-1 или что-то подобное. Этот номер является вашим «номером счета» в GA. Теперь этот код и немного JavaScript идут на вашу веб-страницу. Теперь кто-то заходит на вашу страницу, и его браузер запускает этот код JavaScript.

Этот javascript код - это то, что «записывает» их посещение. Это заставляет их браузер общаться с Google Analytics. В частности, он делает определенные типы HTTP-запросов, о которых Google записывает информацию, а затем GA отображает сводки этой информации для вас.

Довольно простой, правда? Все еще со мной? Хорошо, теперь, если это все, что Javascript отправляет им «визит», тогда любой может подделать это. Кто-нибудь вообще. Все, что мне нужно сделать, чтобы ваша GA показала ложную информацию, - это отправить мою поддельную информацию непосредственно в GA.

Мне не нужно посещать ваш сайт вообще. Мне не нужно запускать JavaScript вообще. Мне просто нужно воспроизвести те HTTP-запросы, которые являются общедоступными, и каждый может их увидеть и узнать, как они работают. Они даже довольно хорошо документированы, публично, самим Google.

Итак, теперь, допустим, я спамер. Я хочу, чтобы люди увидели мой спам-сайт. Итак, что мне делать? Я пишу небольшой кусочек кода, чтобы отправлять тысячи и тысячи этих ложных запросов в GA, и я просто циклически перебираю все числа UA по порядку, в случайном порядке и безотносительно. Я отправил фальшивое посещение с фальшивым реферрером и моим доменным именем со спамом. И угадайте, что? Он отображается на ваших экранах Google Analytics.

Вы видите этот спам как любой другой обычный визит. Потому что, что касается GA, это был нормальный визит. Все, что они записывают, это те HTTP-запросы, которые обычно приходят из JavaScript-кода GA. Но запрос - это запрос, и сделать поддельный очень, очень легко.

Это то, что происходит. Все, что мне нужно, это ваш номер UA, и, приложив лишь незначительные усилия, я могу фальсифицировать посещение вашего сайта, даже не подключившись к нему вообще. В этом фальшивом визите может быть любое доменное имя и любой реферер, который я выберу.

Это атака на Google Analytics, чтобы продвигать любой сайт, который появляется. Вы не можете заблокировать его на своем сервере, потому что ваш сервер вообще не задействован.

Вы можете сделать две вещи: во-первых, настроить фильтр, как предлагает Джон Конде; и во-вторых, посмотреть, есть ли способ сообщить Google. Для этого у меня нет ответа, но у меня есть идея.

[Обновить]

Это начинает достигать невероятных размеров от сотен спам-хитов в день до полной рекламы, такой как эта:

введите описание изображения здесь

— closetnoc
источник

2

@JohnMueller Это не может быть в вашей сфере, но вы можете отправить несколько электронных писем, чтобы узнать, есть ли у G знания по этому поводу? Заранее спасибо!!

— closetnoc

2

@JohnConde Спасибо! Джон Мюллер может не знать об этом, но кто-то в G должен. Даже если ответа нет, по крайней мере, G должен иметь хедз-ап, если его еще нет. Это правильное решение для всех нас. Ура!

— closetnoc

1

@JohnConde BTW - я видел вопрос (ы) по этому вопросу на других сайтах SE (и, возможно, связанных). Я не делал заметок, но есть ли хороший способ передать заметку другим модам? Или мне просто гуглить эти доменные имена и искать ответы и постить?

— closetnoc

1

@joelmdev Вы упустили момент, что они не могут быть заблокированы. Это прямая атака на Google. Никто не имеет никакого контроля, кроме Google. Они были уведомлены, и они по большей части остановились.

— closetnoc

2

@ Стив, я не могу видеть, что есть большой выигрыш, однако, где-то должен быть один. Один человек, упомянутый в ответе, ненавидит Google и, скорее всего, хочет смутить Google. Но они также явно используют этот спам для привлечения трафика на различные веб-сайты, которые продолжают регистрироваться. Я даже видел что-то вроде рекламы с использованием этого метода. Это чертовски раздражает !! Это причиняет боль невинным людям больше, чем Google на самом деле. Я предполагаю, что это работает ... очень грустно.

— closetnoc

5

Вы можете исключить их, создав фильтр . Вам нужно найти что-то достаточно конкретное, чтобы случайно не заблокировать хороших посетителей, и это утомительно, так как вам нужно вручную добавлять каждого спамера, но это поможет.

— Джон Конде
источник

Есть ли у вас какие-либо советы IIS, которые могут помочь? Я могу помочь с Apache, но у ОП, похоже, есть IIS.

— closetnoc

2

Если они не заходят на свой веб-сайт, что, как я полагаю, они сказали, то это не будет эффективным методом их блокировки. Или я неправильно прочитал вопрос?

— Джон Конде

Я прочитал это, поскольку OP получает хиты со спамом реферера.

— closetnoc

2

Действительно, но, видимо, они попали в GA напрямую, а не в их сайт. It seems these spammers are using scripts to spam directly to GA (i.e. they are not logged in my IIS).

— Джон Конде

Хорошо. Вы правы. Виноват!! Я не уверен, почему я не поднял это, потому что я только читал об этом как раз перед этим вопросом. Я получаю удар от спам-реферера, и одна статья упомянула (кратко), что в их лог-файлах не было записей. Интересный новый метод.

— closetnoc

4

Чтобы ответить на ваш заглавный вопрос непосредственно «Как бороться с спамерами-реферрерами», самый простой ответ - оставить Google Analytics и переключиться на Piwik , который автоматически блокирует спам-рефералы по умолчанию .

Я понимаю, что вы, вероятно, привыкли к Google Analytics и хотите продолжать использовать его, но если вы посмотрите на более широкую картину, у вас есть другой вариант, который работает очень хорошо. Piwik также может быть настроен для регистрации IP-адресов посетителей, если вы хотите, и он не пропускает данные о посетителях сторонним рекламным компаниям, которые могут понравиться некоторым пользователям.

— Том Броссман
источник

2

Кстати, черный список спам-ссылок, который использует Piwik, имеет открытый исходный код: github.com/piwik/referrer-spam-blacklist

— Матье Наполи,

их база спама довольно мала. это даже не домены, отмеченные в моем аналитическом отчете.

— Дон Диланга

1

Вот правило, которое работает на IIS:

<rewrite>
  <rules>
    <rule name="abort referer spam requests" stopProcessing="true">
      <match url=".*" />
      <conditions>
        <add input="{HTTP_REFERER}" pattern="(semalt\.com)|(buttons\-for\-website\.com)" />
      </conditions>
      <action type="AbortRequest" />
    </rule>
    <!--The rest of your rules, if you have any-->
  </rules>
</rewrite>

— Фло
источник

2

Этот ответ не имеет ничего общего с вопросом OP, так как спамеры рассылают спам напрямую в Google Analytics, минуя веб-сервер OP.

— Альфред Майерс

@AlfredMyers Ваш комментарий частично верен, так как некоторые спамеры действительно используют метод веб-сервера, другие используют прямой метод, как вы упомянули. В последнем случае единственным решением является добавление фильтров в Google Analytics для получения чистых отчетов. Чтобы предотвратить это, я бы предпочел, чтобы Google использовал более длинный хешированный уникальный идентификатор для учетных записей GA, чтобы спаммеры не могли просто просматривать доступные номера и запускать запросы.

— Flo

ОП конкретно заявляет: «... эти спаммеры используют сценарии для спама непосредственно в GA (т.е. они не зарегистрированы в моем IIS)». Так что по этому конкретному вопросу они не получают доступ к его веб-серверу.

— Альфред Майерс

1

Если вы все еще ищете решение и не можете понять сделанные ссылки, вот Полное руководство по удалению спам-рефералов, которое теперь находится на 133-й редакции с 28 декабря 2014 года: http://www.analyticsedge.com/2014 / 12 / удаление-реферал-спам-Google-аналитика /

TL; DR:

действительный фильтр имени хоста удалит всех рефералов-призраков (включая имя хоста mydomain.com)
специальный фильтр исключения (или блокировка веб-сайта) удалит гораздо более короткий список сканеров спама (semalt.com | kambasoft.com | 7makemoneyonline.com | best-seo-offer.com | best-seo-solution.com | buttons-for -website.com | buttons-for-your-website.com | -musicas * -gratis | anticrawler.org | savetubevideo.com | ranksonic)
Расширенный сегмент может быть использован для удаления их из ваших исторических отчетов.

Расширенный сегмент можно импортировать из галереи решений Google Analytics: https://www.google.com/analytics/gallery/#posts/search/%3F_.sort%3DDATE%26_.start%3D0%26_.type%3DADVANCED_SEGMENT % 26_.viewId% 3DGjpPQhFgS9aVzniXH4MTIg /

— Майк Салливан
источник

0

В начале прошлого года мне было поручено найти наилучшее из возможных решений для спама в Google Analytics. Как и все остальные, я попробовал рекомендуемые подходы, но, похоже, ничего не получалось. Итак, затем я обратился к Менеджеру тегов Google, но это тоже не сильно помогло. Разочарованный и раздосадованный, я решил перестроить скрипт отслеживания Google Analytics, включив в него контрмеры против наиболее распространенных и раздражающих форм спама.

Несмотря на то, что он не был идеальным, после ~ 1,5 лет стабильной сборки, тестирования, отладки и рефакторинга, теперь у меня есть довольно надежный скрипт отслеживания Google Analytics, который хорошо работает "из коробки" и легко настраивается. Для тех, кто хочет выполнять метрики, это работает как шарм.

https://github.com/nickolasburr/intelligent-ga-tracking

— nburr
источник