Является ли грейлистинг эффективным методом предотвращения спама?

Я использовал серые списки на своих серверах много лет, но я не знаю, насколько они эффективны в настоящее время.

Это все еще хорошо для борьбы со спамом в 2012 году?

Или типичный спамер MTA теперь может пересылать электронные письма в сером списке?

Обновление с 2018 года:

Я всегда был большим поклонником грейлистинга. По этим причинам:

• Он не только помечает спам, но и блокирует его.
• Законно использовать в качестве поставщика услуг в Германии (в отличие от удаления спам-писем после получения)
• Это просто и эффективно.
• Это добавляет нагрузку спамеру, а не получающему почтовому серверу. Таким образом, даже несмотря на то, что спамеры могут пройти через ваш серый список, вы заставили их машину работать усерднее и, таким образом, они могут отправить меньше спама.
• Он практически не блокирует легальную почту, в отличие от RBL на основе IP и т. Д.
• Это приводит к задержкам, но вы можете вносить в белый список клиентов (отправляющие серверы) с частыми контактами и получателей из белого списка, которые действительно нуждаются в электронной почте с минимальной задержкой. Помните, что использование спам-фильтра, такого как Spamassasin, непосредственно для всей вашей почты (без использования серых списков) может также привести к задержкам в обычной почте: некоторые спаммеры отправляют на ваш сервер так много писем, что спам-фильтр перегружается. Таким образом, он отправит временный сбой (например, 451) на сервер-отправитель дальнейших входящих писем. Это приводит к тем же эффектам, что и серый список, т. Е. Почтовые сообщения задерживаются, за исключением того, что создание белого списка не так просто. Конечно, вы можете использовать облачный спам-фильтр, который масштабируется до любой мощности, которую имеет спамер, но это может быть дороже.
• Ограниченное или не требующее обслуживания. Нет черного списка, который нужно обновлять и менять со временем. Нет шаблонных правил, которые нужно обновлять.

Но, к сожалению, в моей статистике я вижу, что в этом году грейлистинг становится все менее и менее эффективным. Количество задержанных сообщений действительно быстро приближается к количеству серых сообщений, а это означает, что количество заблокированного спама уменьшается.

За последний год (365 дней) 55% сообщений из серого списка в конечном итоге были переданы через серый список, то есть 45% были заблокированы.

статистика по годам

Обратите внимание, что эта диаграмма включает временные рамки, в которых сообщения из серого списка не учитываются из-за ошибки конфигурации mailgraph, а только из-за задержек. Это означает, что этот расчет немного переоценивает задержанные сообщения, фактически заблокировано еще немного писем.

В прошлом месяце задержали 64% и заблокировали только 36%.

статистика рассылки за месяц

За последнюю неделю 75% задержались и только 25% заблокировали.

недельная статистика

Более того, если посмотреть на общее количество заблокированных сообщений: в этом месяце серые списки заблокировали 4 411 сообщений, а Amavisd (spamassasin) заблокировал 22 763 сообщения. Это означает, что только 16% спама блокируется серыми списками, а все остальное - amavisd.

Более того, все больше провайдеров облачной рассылки отправляют с нескольких сотен IP-адресов. Они пытаются каждую попытку передачи с другого IP. Таким образом, серый список может заблокировать эти письма даже на несколько дней. Поэтому вам нужно внести в белый список всех «хороших» почтовых провайдеров. Это вводит новые усилия по обслуживанию.

Я всегда был большим поклонником серых списков, но, к сожалению, я вижу, что он становится все менее и менее эффективным, и я думаю, что скоро отключу его, так как он начинает без необходимости задерживать только 14% моих писем, не блокируя много спама. ,

Невероятная статистика

Количество заблокированных писем в моей (и вашей) статистике также может вводить в заблуждение. Давайте возьмем одно электронное письмо от крупного облачного почтового провайдера (такого как Microsoft * .outbound.protection.outlook.com), которое еще не занесено в белый список. Первая попытка не удалась. Вторая и третья попытки передачи исходят от двух других серверов (IP-адресов), поэтому снова происходит сбой, поскольку триплет не совпадает. Теперь четвертая попытка снова приходит с первого сервера и завершается успешно. Это будет засчитываться как одна задержанная передача и четыре серых списка сообщений. Мои расчеты, приведенные выше, показывают, что 1/4 = 25% серых сообщений было отложено, а 3/4 = 75% заблокировано. Но на самом деле ни одно сообщение не было заблокировано. Теперь мы заносим в белый список серверы этих почтовых провайдеров, поэтому они больше не будут занесены в серый список. Что произойдет, так это то, что количество серых сообщений уменьшится больше, чем количество задержанных сообщений. Это означает, что количество заблокированных сообщений, которые мы рассчитываем, уменьшится. Но это не правда, что меньше сообщений были заблокированы.

Фактически, то, что я делал с февраля 2017 года, - это добавление в белый список все большего числа провайдеров облачной почты для борьбы с проблемой длительных задержек из-за серых списков. Это может объяснить (частично?), Почему количество заблокированных писем, которые я рассчитываю, быстро уменьшается. Так что, может быть, я все время думал, что greylisting блокирует много спама, но количество заблокированного спама все время было намного меньше, просто оно было неправильно рассчитано. Так что будьте осторожны при интерпретации вашей статистики.

Последний раз я смотрел на это количественно в июле этого года (2012). В июле мой почтовый сервер получил около 46 000 попыток доставки почты; из них около 1750 возвратились и получили разрешение от серого списка (и прошли действительный домен отправителя, SPF и некоторые другие тесты, не основанные на контенте). Из них около 1500 были отфильтрованы моей контентной фильтрацией.

Предполагая, что эти 44 250 электронных писем были спамом (поскольку они не могли пройти серые списки, я думаю, что это справедливое предположение), если бы не серые списки, моя фильтрация на основе контента должна была бы обрабатывать 46 000 писем вместо 1750.

Увеличение нагрузки на контентную фильтрацию в двадцать пять раз потребовало бы от меня более мощных процессоров и большего объема памяти. Это, в свою очередь, увеличило бы мои ежемесячные расходы на хостинг из-за дополнительного энергопотребления (и, возможно, размера сервера).

Короче говоря, последний раз, когда я считал, да, серый список все еще имел очень, очень хороший смысл как часть полной системы фильтрации спама . Я активировал его для клиентов в последние несколько недель, и все очень довольны снижением нагрузки на их системы фильтрации контента.

Изменить : я отмечаю, что я не ответил на вопрос о том, становится ли он менее эффективным с течением времени. Когда я включил его в конце 2006 года, по моим оценкам, он отфильтровывал около 95% спама. 1750 из 46 000 - это около 4%, поэтому мои данные показывают, что это не станет менее эффективным за этот период времени.

спам-боты, как правило, до сих пор не делают очереди сообщений, но некоторые из них просто посылают спам дважды каждому получателю с задержкой в ​​несколько минут, чтобы победить грейлистинг. Кроме того, в настоящее время спам от спам-ботов больше не является реальной проблемой, спам от скомпрометированных учетных записей Yahoo и т. д. поймать гораздо сложнее.

С этой точки зрения грейлистинг не так эффективен, как раньше. В сочетании с другими методами противодействия спаму он все еще может помочь, например, если ваш домен часто входит в «первую партию» спам-кампаний, серый список может помочь задержать сообщение достаточно долго, чтобы черные / доменные / черные списки могли наверстать упущенное, так что если спам проскочил бы через ваши фильтры с первой попытки подключения, возможно, он обнаружился со второй попытки.

Как тангенциальная проблема, мне не нравится, когда я применяю такую ​​технику, как грейлистинг, не имея возможности измерить ее эффективность. В Debian с postfix в качестве MTA и postgrey в качестве движка политики серых списков, вы можете просто apt-get install mailgraphполучить простой график принятой и отклоненной почты. Mailgraph - немного старая школа и полностью автономная, но она работает, и ее данные или методы могут быть легко интегрированы в более сложную современную систему мониторинга.

Получите почтовый фильтр на основе репутации. Greylisting - немного старая школа и не всестороннее решение. Существуют обходные пути (с точки зрения спаммера) и непредсказуемые сроки доставки почты для ваших пользователей ...

Либо перенесите фильтрацию в облачную службу, либо купите устройство, которое имеет доступ к такому списку и имеет другие методы проверки спама. Обычно я рекомендую Barracuda для их устройства или для решения облачной фильтрации . Оба варианта имеют эффект масштаба и зрелую эвристику, которые обеспечивают более чистое общее решение.

Если посмотреть на отчет моего спам-фильтра Barracuda Spam Filter за сентябрь 2012 года, из 98 457 сообщений 1623 были отключены до того, как они попали на почтовый сервер из-за плохих получателей ... 34 488 были заблокированы как СПАМ . Только 96 сомнительных сообщений сделали это до конца. Те, которые были оценены как СПАМ, представляли собой комбинацию репутации, оценки, намерения, трех RBL, байесовской фильтрации и пользовательских наборов правил. Все в одном блоке ... Все обрабатывается до попадания на относительно небольшой почтовый сервер.

См. Также: Борьба со спамом. Что я могу сделать как: администратор электронной почты, владелец домена или пользователь?