Блокировка реферального трафика

В настоящее время я получаю огромное количество реферального трафика на мой сайт (спам), который может иногда генерировать трафик на 1-2 ГБ в день (что отстой, когда у вас есть ограничение в 10 ГБ от хостинговой компании).

Я вижу 4-5000 посещений в день, генерирующих 20-25000 просмотров страниц ... Кажется, что почти каждый день мне приходится добавлять новые сайты в мой файл .htaccess, чтобы предотвратить закрытие моего сайта, потому что я превышаю ограничения по трафику ,

Судя по тому, что я вижу в журналах, всякий раз, когда я добавляю сайт, который нужно заблокировать, трафик с нового сайта просто начинает поступать в течение пары часов.

Вот что-то из моего файла .htaccess в настоящее время:

RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://www\.everyoneweb\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://freefilearchive\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://4runnerforex\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.julznakomua\.strefa\.pl [OR]
RewriteCond %{HTTP_REFERER} ^http://drugbuyersforum\.org [OR]
RewriteCond %{HTTP_REFERER} ^http://protopage\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://stupidvideos\.com [OR]
RewriteCond %{HTTP_REFERER} ^https://sourceforge\.net [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.sourceforge\.net [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.thoughts\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.youfreeweb\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.facebook\.com\\notes\\phentermine [OR]
RewriteCond %{HTTP_REFERER} ^http://theresaraatt\.over-blog\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://grou\.ps [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.reverbnation\.com
RewriteRule (.*) http://%{REMOTE_ADDR}/$ [R=301,L]

order allow,deny
deny from 109.227.125.
deny from 109.227.124.
allow from all

У кого-нибудь есть идеи, что можно сделать, о том, что весь этот трафик будет у меня на пути?

Ну, вы можете зайти сюда http://aaronlogan.com/downloads/htaccess.php и иметь довольно большой список блоков спам-ссылок в вашем htaccess. Или вы можете использовать что-то вроде следующего

# set the spam_ref variable - referrer site or a keyphrase
SetEnvIfNoCase Referer "^http://(www.)?some-spammer.com" spam_ref=1
SetEnvIfNoCase Referer "^http://(www.)?other-spammer.com" spam_ref=1
SetEnvIfNoCase Referer "^casino-poker" spam_ref=1

# block all referres that have spam_ref set
<FilesMatch "(.*)">
 Order Allow,Deny
 Allow from all
 Deny from env=spam_ref
</FilesMatch>

Или если вы используете php.

<?php
$block = array("xxx.xxx.xxx.xxx", "yy.yy.y.yyy");

if (in_array ($_SERVER['REMOTE_ADDR'], $block)) {
  header("Location: http://google.com/");
  exit();
}
?>

В любом случае вам нужно будет следить за этим и обновлять по мере необходимости. И список может стать огромным.

Если это пример спам-реферера , то способ остановить его в долгосрочной перспективе - убедиться, что ваши файлы журналов не проиндексированы поисковыми системами. Это делает это бесполезным занятием для спамера, и в конце концов они примут это и прекратят это делать.

Эти виды кражи пропускной способности распространены в сети. Вы можете отклонить все запросы на файлы вашего сайта (изображения, видео, ...), кроме вашего сайта и его поддоменов и тех доменов, которые вы знаете.

и если запросы от специальных IP-адресов, вы можете заблокировать их!

иначе, если это для всех ваших веб-страниц, то что вы делаете, это только выбор!

Имея дело с подобной проблемой, я обнаружил, что все запросы приходили с небольшим изменением поддельных или маловероятных строк User-Agent.

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; Media Center PC 6.0; InfoPath.2; MS-RTC LM 8)
Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3 (.NET CLR 3.5.30729)
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.2 (KHTML, like Gecko) Chrome/4.0.221.7 Safari/532.2
Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 8.50
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3
Opera/9.64(Windows NT 5.1; U; en) Presto/2.1.1
Mozilla/5.0 (X11; U; Linux i686; it-IT; rv:1.9.0.2) Gecko/2008092313 Ubuntu/9.25 (jaunty) Firefox/3.8
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.14) Gecko/2009082707 Firefox/3.0.14 (.NET CLR 3.5.30729)

Если то же самое относится и к вашему делу, вы можете заблокировать запросы от этих поддельных UA.