Спам-бот постоянно попадает на наш сайт 800-1000 раз в день. Причинение потери в продажах

В течение последних 5 месяцев наш сайт получал хиты с этих 4 сайтов ниже;

sheratonbd.com
newsheraton.com
newsheration.com
newsheratonltd.com

Как правило, точный URL, из которого они происходят, выглядит примерно так;

http://www.newsheraton.com/ClickEarnArea.aspx?loginsession_expiredlogin=85

Спам-бот заходит на нашу домашнюю страницу и остается там около 1 минуты, а затем существует. К счастью, у нас есть несколько довольно мощных серверов, поэтому мы еще даже не приблизились к перегрузке наших серверов. В прошлом месяце я начал блокировать IP-адреса спам-ботов, но они, кажется, продолжают получать новые каждый день. На данный момент я заблокировал более 200 IP-адресов, ниже приведены некоторые из них, которые я заблокировал. Все они из Бангладеш.

58.97.238.214
58.97.149.132
180.234.109.108
180.149.31.221
117.18.231.5
117.18.231.12

С тех пор, как это происходит в течение последних 5 месяцев, наш реальный трафик сайта начал падать, и каждый день наши заказы становятся все ниже и ниже. Кроме того, поскольку эти спам-боты просто заходят на нашу домашнюю страницу, а затем оставляют наш показатель отказов в аналитике стремительно растут.

Мои вопросы

Возможно ли, что эти спам-боты влияют на наш SEO? 60% наших заказов поступают от естественного поиска, и с тех пор, как все это началось, количество заказов постепенно снижалось.

По какой причине кто-то захочет тратить ресурсы на это на нашем сайте? IP-адреса не являются бесплатными и являются доменными именами. Какова цель сделать это для нас? У нас есть Google AdWords, но мы не размещаем рекламу в расширенных сетях и не размещаем рекламу в Бангладеш, поскольку мы не осуществляем там доставку, поэтому они не зарабатывают на AdSense.

Кто-нибудь испытывал что-либо подобное этому? Что вы делали и каков был финальный выход?

Забавно, что это должно придумать, я столкнулся с подобной проблемой на работе сегодня! @HeatherWalters покрыл большинство хороших вещей, но есть несколько вещей, которые нужно добавить.

Вы можете заблокировать рефереры по доменам, используя следующий код htaccess: -

RewriteEngine on
# Options +FollowSymlinks
RewriteCond %{HTTP_REFERER} spammer-one\.com [NC,OR]
RewriteCond %{HTTP_REFERER} spammer-two\.com
RewriteCond %{HTTP_REFERER} spammer-three\.com
RewriteRule .* - [F]

Это перенаправляет их к 403 запрещенному ответу, который, я думаю, является наиболее эффективным способом решения проблемы с точки зрения нагрузки на сервер, так как это довольно маленький заголовок.

Существует несколько интересных идей о блокировке ключевых слов с помощью httpd или использовании mod_security , которые, возможно, стоит изучить.

@LazyOne'sОтвет на мой вопрос о наиболее эффективном способе сделать это указывает на то, httpd.confчто это был бы лучший вариант, чем .htaccessтот, который был бы загружен до mod_rewrite (я опубликую код, как только у меня будет время для тестирования).

Как ни странно, это вызывает проблемы в рейтинге SERP, я видел только два сайта с такой же серьезной проблемой, как ваша, и оба сообщили о потере органического поискового трафика, но я не нашел аналогичных отчетов в Интернете или чего-либо от Google, поддерживающего это понятие.

@DisgruntledGoatв своем комментарии ниже указывает, что показатель отказов в Google Analytics сам по себе не приведет к потере SERP. Однако публикация журналов реферера может привести к появлению ссылок на спам-сайты с вашего домена.

Вы можете отфильтровать результаты спама из своего аналитического отчета. BusinessHut предлагает хорошее руководство, в котором предлагается использовать несколько версий следующего фильтра: -

Filter Type: Custom > EXCLUDE 

Filter Field: Campaign Source Filter

Pattern: golbnet 

Case Sensitive: No

Это исключит любого реферера с текстом «golbnet» в любом месте ссылающегося URL. Чтобы исключить других рефереров, таких как forexmarket, вы можете создать другой фильтр, ИЛИ вы можете просто добавить «канал», который действует как оператор «ИЛИ». (например, шаблон фильтра: golbnet | forexmarket | что-нибудь другое) * Вы можете получить канал, нажав Shift и Backspace.

Он также отмечает, что, как и @Heather, вы всегда должны поддерживать нефильтрованный профиль.

Рассматривали ли вы возможность того, что они посещают ваш сайт, надеясь, что вы узнаете, кто они такие, перейдя по ссылке (чтобы вы в конечном итоге посетили их спам-сайты ......... самые черные из SEO-блэкхетов)? Вы обращались к этой информации на сайтах исключительно через GA или просматривали журналы трафика вашего сайта? Может быть, они вообще не посещают ваш сайт, а подключаются к вашей учетной записи Google Analytics и вводят свои собственные «хиты» с помощью специального программного обеспечения для рассылки спама в надежде, что вы посмотрите на их ссылки (а побочный эффект заключается в том, что все Ускоренный показатель отказов влияет на ваш рейтинг в поисковых системах и, следовательно, на ваш реальный трафик. Пожалуйста, посмотрите на эту ссылку: спам реферера Google Analytics и обязательно прочитайте раздел комментариев.

Вы можете отфильтровать результаты этих аналитических отчетов, создав дубликат профиля, а затем добавив к нему фильтр, но я не уверен, что Google все еще «видит» их как хиты. Предположительно, спам-реферер не влияет на SEO, но я лично сомневаюсь в этом, если он заставляет ваш показатель отказов идти вверх.

Я тоже пытался отследить это. Что бы они ни делали, они, похоже, меняют домены каждые пару недель или месяц. Это легко увидеть в нашей аналитике, отфильтровав трафик из Бангладеш (из которого мы получаем очень мало легитимного трафика).

В нашем случае трафик не влияет на продажи, но на пару порядков больше, чем видит OP.

Небольшое исследование обнаружило http://robotlancer.com/ , который позиционирует себя как «программное обеспечение, которое помогает подписчикам Dolancer / Skylancer / Newsheraton / Googleaddclick / Visionaddworld / Makegem автоматически нажимать на свои объявления». На одном из снимков экрана показан скрипт, который загружает и нажимает на рекламу. Из нашей аналитики кажется, что для каждой нагрузки используется произвольный пользовательский агент и ОС, что делает его похожим на человеческий трафик.

Все это, безусловно, пахнет чем-то вроде оплаты за мошенничество, но я не могу понять, что они делают, потому что нет никакого способа, которым они могли бы извлечь выгоду от нажатия на нашу рекламу!

Вы характеризуете это как «спам-бот», но симптомы выглядят для меня больше похожими на людей, щелкающих ссылки на ваш сайт на одном из «шератонских» сайтов, которые вы перечисляете. Видимо, вы получаете повторные попадания с каждого IP. Зачем человеку это делать? Вероятно, сайт продвигает идею о том, что пользователь может зарабатывать деньги, делая это (независимо от того, на самом деле они зарабатывают деньги или нет).

Зачем сайту нравится эта ссылка на ваш сайт? Это может быть ошибкой, но подумайте, если такой сайт имеет плохую репутацию для поисковых систем. Тогда это может негативно повлиять на вашу позицию на страницах результатов поиска, что приведет к снижению вашей позиции и, соответственно, к вашим обычным результатам поиска. Причина, по которой сайт, на который можно щелкнуть по ссылке, может ссылаться на вас, заключается в том, чтобы получить плату за этот эффект от того, кто этого хочет, например, от конкурента.