Как проверить домен на спам и узнать его состояние?

Четыре популярных блэклиста

• Spamhaus. Им пользуются все почтовые сервисы. Алгоритмы черного списка проверяют свою базу и добавляют в нее домены, попавшиеся на нарушениях. Техническая поддержка работает оперативно. В службе вы можете уточнить, почему оказались в блэклисте. Если сообщить о решении проблемы, техподдержка быстро уберет домен из своей базы.
• Spamcop. Вырос до сервиса жалоб. Пользователь сообщает о подозрительной рассылке. Сервис проверяет ее, добавляет в блэклист, если это спам, и уведомляет отправителя о санкциях.
• SORBS. Популярный блэклист среди компаний — основные почтовые службы его не смотрят. В сервисе много спам-ловушек, которые часто приводят в черный список новые домены. Дружелюбная техподдержка поможет исправить проблему и потом удалит адрес из блэклиста.
• URIBL. Предлагает суровые условия — несколько попаданий в блэклист, и ваш домен останется там навсегда. Выбраться будет очень тяжело. Но и попадают туда только за явные нарушения, поэтому URIBL ценится среди почтовых провайдеров.

Скачиваемая база данных спам-адресов

Также мы предоставляем ежедневные обновления для базы данных оффлайн (файлы CSV и IPSET через SFTP-доступ). CleanTalk получает данные о спам-атаках от 40-60 тысяч IP-адресов каждый день. Каждый тариф для BlackList API включает в себя доступ к базе данных оффлайн в соответствии с параметрами спам-активности. Например, при покупке пакета с лимитом на 1 миллион проверок вы получаете доступ к файлу с адресами, у которых была обнаружена спам-активность на 100 и более сайтах. Записи для базы данных оффлайн обновляются раз в час.Лицензию программы, выданную правообладателем, разрешено использовать только конечному покупателю, её запрещено передавать третьим лицам и запрещено опубликовывать данные из базы данных CleanTalk без письменного согласия правообладателя.Пожалуйста, свяжитесь с нами, если у вас есть вопросы о CleanTalk. Наш адрес: welcome@cleantalk.org.

Рекомендации по очистке сайта от спама

От АГС-бана в Яндексе не застрахован никто, притом посчитать сайт спамным поисковик может в самый неподходящий момент. К счастью, такого рода возникшая проблема катастрофой отнюдь не является, – её можно даже расценить в качестве своеобразного шанса для улучшения веб-ресурса.

Которое при этом не требует никаких титанических усилий. Апгрейд для вывода страниц из-под спам-фильтра подразумевает:

1) Приведение в порядок контента на всех страницах.

Поисковые роботы включают в категорию спама не только плотность вхождения ключевиков в тексты. Сюда же могут быть отнесены неестественные по смыслу, искусственные словосочетания и смысловые конструкции. Исправить положение помогает редактирование, с учётом нескольких простых требований – тексты должны быть информативными, лёгкими к восприятию, понятными читателю.

2) Частотность ключевых слов

Сеошники старой закалки до сих пор уверены в том, что большое количество ключевиков положительно влияет на позиции в поисковой выдаче. Это не так, – искусственное увеличение тематической релевантности ведёт к переспаму. И робот, зашедший на страницу с целью проверить сайт на спам, его и обнаружит.

3) Внутренние ссылки

Перелинковка на различные страницы сайта должна также выглядеть естественной. Рискованно перенаправлять посетителей ссылками со спамными анкорами (типа «купить ноутбуки Самсунг дешево в Москве») или проставлять в ссылке на главную страницу собственного же сайта ключевики. Перелинковки на главную лучше вообще избегать, так как поисковик может расценить её в качестве искусственного увеличения веса основной страницы.

4) Корректировка метатегов

Все описания и заголовки страниц должны выглядеть естественно, с прописанной в них полезной информацией. Не стоит спамить в метатегах ключевиками, – достаточно расставить три-пять релевантных теме страницы запросов.

5) Удаление спама в навигации

Наименования функциональных меню должны также смотреться органично. Не нужно прописывать в них уродливые по смыслу ключевики (вроде «сувениры из Санкт-Петербурга», «цветы оптом круглосуточно»), – это прямой путь под АГС-фильтр.

Virusdie – избавление от спама на сайте в несколько кликов

Проверить сайт на спам онлайн можно вручную, одним из способов, описанных выше. А можно доверить это дело специализированному сервису, который эффективно мониторит все проблемы в режиме реального времени.

Из наиболее продвинутых, рекомендуемых профессионалами к использованию антивирусных сканеров выделяется продукт от компании Virusdie.

Это полнофункциональный антивирусник, защищающий от вирусов, несанкционированных атак и вообще всех проблем, связанных с поражениями сайта вредоносным кодом.

Среди основных инструментов Virusdie обнаруживается и проверка на наличие того или иного веб-ресурса в чёрных списках поисковиков. После установки программного обеспечения, сервис в автоматическом режиме контролирует состояние дел. Уведомления о возможных конфликтах с поисковиками настраиваются в зависимости от устанавливаемого владельцем сайта интервала – через каждые 6, 12 или 24 часа ежедневно.

Проверка сайта на спам – это не прихоть, а осознанная необходимость, в особенности для тех, кто уже сталкивался с неприятными моментами санкций от поисковых машин. Даже один день простоя, недолгое выпадение сайта из рейтинговых топов ведёт к серьёзному падению трафика, а значит – и к снижению уровня продаж.

Virusdie всегда придёт на помощь. Антивирусный и антиспамный продукт не просто отслеживает проблемные страницы, но и предлагает ряд полезных рекомендаций, помогающих избавиться от спама на сайте раз и навсегда.

Как выйти из спам- blacklist

В основном все сервисы blacklist автоматические и если Вы 1-2 недели не шлете писем с ящика, который оказался под прицелом, то он может выйти из списка автоматически.

Хотя это не факт и может случиться так, что будет очень сложно выбраться оттуда. Но нужно понимать, что если с Вами куча соседей, то за них Вы отвечать не можете и не знаете что они делают. Поэтому лучше сразу обзавестись отдельным IP-адресом для своего сайта и все будет отлично.

Совет: если Вы попали в спам и черный список, то не шлите писем с этого домена дней 10-14, смените IP-адрес на выделенный и после 10-14 проверьте еще раз на черные списки новый IP и сделайте рассылку снова. Затем проверьте еще раз, все ли в порядке. Если IP не в черных списках, то все отлично.

А теперь представьте, если эту информацию примут к сведению авторы рассылок, реанимируют свои базы и начнут получать более высокий доход. Но скорее всего это никому не нужно. Кто-то не знает, кто-то не хочет, а кому-то просто лень этим заниматься.

Также еще нужно использовать в своей работе почтовые офисы от Яндекса и Mail.ru, но это уже отдельная тема.

Могу сказать только ключевой момент, который поможет вам выйти из СПАМа благодаря этим сервисам Яндекса и Майла — это переписка с поддержкой и справка этих сервисов. Поверьте, Вы узнате много нового.

Вот такая получилась статья, надеюсь что она принесет Вам огромную пользу. Порой обладая информацией и выполняя простые действия, мы можем облегчить многое на своем пути.

Если что не понятно, задавайте вопросы. И конечно я жду Ваших комментариев к данной статье. Желаю Вам удачи!

Как понять, улетают ли ваши рассылки в спам

Можно заранее оценить, какие шансы у вашего письма попасть в спам. Для этого есть два способа.

1. Отправить себе тестовое письмо. Сделали письмо — сначала отправьте себе, посмотрите, все ли в порядке, затем рассылайте по базе. Можете завести несколько тестовых ящиков в каждой популярной почтовой системе и смотреть, где чаще всего письмо приходит в спам. Но учтите: при массовой рассылке в тех же системах письмо все равно может попасть в спам.
2. Проверить письмо в специальном сервисе. Мы рекомендуем Mail-Tester: отправляете свое письмо на предложенную почту и сразу получаете результаты с рекомендациями, что можно поправить.

Проверка письма в сервисе Mail-Tester

Как узнать, что сайт в чёрном списке?

Нужно проверить домен на спам-листы и узнать, не попал ли он в чёрный список DNS. Перечислим основные причины:

• подозрение на спам;
• размещение запрещённого контента;
• размещение ссылок на другие сайты с запрещённым контентом.

Любой, даже незначительный, прокол в работе может привести к данной проблеме. Алгоритмы проверки постоянно меняются, даже «чистый» сайт с легальным контентом иногда может попасть под санкции.

Рассмотрим основные варианты. Можно воспользоваться сервисом ХостТрекер. Здесь доступна бесплатная функция проверки наличия домена в DNSBL (DNS Blacklist – списки хостов, которые хранятся с применением архитектуры DNS). Также есть сервис Mxtoolbox, где предлагается подобное. На этом список сервисов не ограничивается, можете выбрать любой удобный. Я же разберу этот вопрос на примере ХостТрекер:

1. зайдите на сайт http://www.host-tracker.com
2. справа в окне выберите «проверить свой сайт»
3. ставим галочку на «DNSBL»;
4. введите адрес сайта;
5. нажмите на «проверить сейчас».

После этого Ваш адрес проверят по нескольким десяткам списков и появится результат, вот пример:

Если домен присутствует в блэклистах

Когда обнаруживаются проблемы, причина в обязательном порядке указывается. Есть несколько способов удаления из черного списка:

• Проверка на спам-рассылку. Необходимо убедиться, что сервер почты не используется злоумышленниками. Также выполните настройку обратного запроса DNS (доменная зона для определения имени сетевого узла по IP) почтового сервера. Настройте SPF (инфраструктура политики отправителя, специальное расширение для протокола отправки почты).
• Выяснить обстоятельства. Перейдите по ссылкам, докажите, что не являетесь роботом. Вводите адрес сайта и нажимайте на «разблокировать». В отдельных ситуациях придётся писать письмо с просьбой о разблокировке, преждевременно устранив причину попадания в ЧС.

Notice

После того, как удастся проверить домен на АГС и спам-листы, необходимо сразу исправить ситуацию и чем быстрее, тем лучше, а потом можно заниматься продвижением своего сайта в прежнем режиме.

Как проверить, не угодил ли почтовый сервер в черные списки

У каждого блэклиста есть свой сайт с поиском по базе. Некоторые сервисы продают доступ. Но популярные черные списки — бесплатные. Проверьте свой IP-адрес или домен в Spamhaus и URIBL. Для начала этого будет достаточно. Введите свой адрес — блэклист сразу выдаст результаты проверки. Зеленый цвет означает отсутствие в блэклисте, а красный покажет, в каком списке находится ваш адрес и что нужно сделать для его удаления.

Если есть права администратора на домене, загляните в логи отправки. Это ответ сервера, который принял письмо. Если адрес в блэклисте, вы увидите это в логах. Там будет ссылка на черный список.

Если не хотите возиться с проверкой по каждому блэклисту, запускайте сервисы проверок — MxToolBox или Mail-tester. Они проверят ваш адрес по 100 чёрным спискам.

Как проверить свой IP

Вводим свой адрес и ждем до конца, пока около всех списков появятся значки. Если они все зеленые, как на картинке ниже, то у Вас все отлично. А вот если есть хоть один красный или более (как на картинке в самом начале), то дела плохи.

Каждый список отвечает за определенные сервера. И насколько я понял, чем больше черных списков в которых есть ваш домен, тем больше Ваших подписчиков просто не получат Ваше письмо.

Мой домен находился в одном черном списке всего. Я свою проблему решил довольно просто. У каждого хостинга есть дополнительные услуги и к примеру у моего Таймвеба выделенный IP стоит всего 55 рублей в месяц. Если Вы занимаетесь интернет-бизнесом, то 55 рублей не великие деньги, а польза от этого огромная.

Как проверить домен перед покупкой?

Прежде чем регистрировать и оплачивать понравившийся домен, проверьте его на историю, наличие в спам-базах, как минимум.

1. Для проверки истории домена используют сервис Вебархив: web.archive.org. Он показывает, был ли на этом домене сайт, и в каких годах.

Вводим в поисковую строку домен и жмем Enter.

Нажмите на скриншот, чтобы увеличить

На данном скриншоте мы видим, что сайт на проверяемом домене был в 2017-18 годах.

Нажимая на кружочки, подсвеченные цветом на календаре в те года, когда на домене был сайт, вы можете открыть «слепки» страниц и посмотреть, что тут раньше было.

Нажмите на скриншот, чтобы увеличить

Если видите переадресацию на другие сайты, запрещенные или спорные тематики, иероглифы, какие-то непонятные символы, что менялись тематики – то лучше не брать такой домен.

К сожалению, сервис Вебархив может подтупливать и выдавать ошибки – 503, 504, из-за чего невозможно посмотреть, как ранее выглядел сайт. Можно попробовать открыть его с другого браузера или просто зайти позже.

Есть еще похожий сервис web-arhive.ru (но у меня при тестировании он глючил).

Если домен уже ранее использовался, то это не значит, что он пропащий. Если прошлый сайт был нормальный, по той же тематике или близкой к той, по которой вы хотите сделать новый, на нем не было заражений, взломов и частых редиректов, то такой домен может быть вам в плюс. Возможно, у него сохранился траст, ссылочный профиль, который придает домену вес в глазах поисковиков.

2. Не лишним будет проверить, остались ли в выдаче страницы старого сайта, введя в поисковик команду: site:домен

В идеале никаких страниц от прошлого сайта в выдаче остаться не должно.

В этом примере страницы в выдаче остались, со ссылками-редиректами, замаскированными через сокращатели (косвенно это может указывать, что сайт был переспамлен внешними ссылками):

Плохой знак – когда в выдаче присутствуют какие-то левые страницы, вообще не относящиеся к тематике сайта или, если вот такая картина, как на скрине:

Также в выдачу отдельно можно вести просто название, которое вы выбрали для домена (без зоны), чтобы проверить – не принадлежит ли оно другим брендам, какие о нем упоминания, есть ли сайты с таким названием в других доменных зонах, что это за ресурсы, не скомпрометировано ли название и т.п.

3. Обязательно посмотреть наличие домена в спам-базах. Я для проверки использую вот этот сервис dnsbl.smtp.bz. Он покажет, не находится ли домен в черных-списках, что чревато блокировками в соцсетях, почтовых сервисах и санкциями от поисковых систем.

На скриншоте мы видим пример сайта, который находится в одной из спам-баз. Если видите такое – то лучше поискать другой домен.

Также для проверки можно использовать вот этот инструмент. 

Ниже вы можете посмотреть мой видеоурок к статье:

Друзья, это базовые рекомендации по проверке домена перед покупкой. Они помогут избежать таких неприятных ситуаций, как блокировка вновь купленного домена в соцсетях, санкции и баны в поисковых, почтовых системах.

Виктория

Как проверить наличие IP в черных списках

Прежде всего, чтобы понять, попал ли ваш IP в спам лист, вам необходимо зайти на один из известных чекеров IP, к примеру на Главную страницу Whoer.net. Если в параметре «Blacklist» стоит отметка ДА/YES, это значит, ваш IP-адрес находится в каком-то блек листе.

Используемый нами адрес, как видите, чист. Если у вас иначе – нужно поискать, в какую базу он попал.

Какие спам базы существуют

Наиболее известные открытые блэклисты:

1. SpamCop
2. The Spamhaus Project
3. URIBL.
4. SURBL.

Проверить, попали ли вы в черный список, можно и по айпи и по домену.

В некоторых блэклистах IP просто остается некоторое время (обычно пару недель, но с каждым попаданием это время все дольше), в другие он попадает “навечно” и только ваши активные действия помогут вызволить адрес из спам базы. Для начала желательно, конечно, разобраться с причиной попадания IP в блэклист и, по возможности, ее устранить.

WordPress

Настройки исключений находятся здесь: Консоль WordPress Вашего Вебсайта —> Настройки —> Антиспам от CleanTalk —> Продвинутые настройки —> Исключения. После внесения всех необходимых изменений сохраните настройки.

Исключения страниц

Для исключения страниц добавьте имя страницы в поле «Исключение по URL». Например, чтобы исключить http://wordpress.example.com/sample-page/ вам нужно ввести значение sample-page. Вы можете добавить несколько страниц, разделив их запятыми или новой строкой.

Для более гибкой настройки исключений вы можете использовать регулярные выражения.

Например, если вам нужно исключить группу страниц из категории «some»:

• example.com/some/thing
• example.com/some/one
• example.com/some/body
• example.com/some2/test

включите опцию «Использовать регулярное выражение в исключении по URL» и введите в поле «Исключение по URL» значение some. В результате все страницы, в адресе которых встречается слово «some», будут исключены из проверки.

Если надо исключать страницы из категории «some», но не из категории «some2», то можно использовать более точное регулярное выражение.

Для проверки своего регулярного выражения можно воспользоваться общедоступными интернет-ресурсами, например, Regular Expressions 101. При написании регулярного выражения учитывайте, что при сохранении настроек плагина символы «» и «/» буду вырезаны из начала и из конца строки.

 Исключения по полям форм

Для исключения полей добавьте имя конкретного поля вашей формы в поле «Исключение по имени поля». Например, чтобы исключить проверку поля Имя в стандартной WordPress форме комментариев, вам нужно добавить значение author. Вы можете добавить несколько полей, разделив их запятыми.

По аналогии с исключениями по страницам вы можете использовать регулярные выражения для более гибкой настройки исключений полей. Для этого включите опцию «Использовать регулярные выражения в исключении полей».

Исключения по ролям

Для исключения по ролям выберите группу пользователей в списке. Для выбора нескольких групп пользователей удерживайте клавишу CTRL на вашей клавиатуре.

Готовим рассылку

Помимо подготовки домена, нужно позаботиться о качестве писем, которые будут читать пользователи и не блокировать почтовые сервисы.

Забудьте приемы написания из прошлого десятилетия: «Полу4ите 6есплатно ТоЛьКо СегОдня!!!!». Подобные письма сразу отправляются в спам. Поэтому пишите грамотно, без ошибок, заботьтесь о качестве прикрепляемых материалов.
Пишите с отключенным CapsLock. Сообщения из серии «ТОЛЬКО СЕГОДНЯ ГЛОБАЛЬНАЯ РАСПРОДАЖА В НАШИХ МАГАЗИНАХ» могут не дойти до подписчиков.
Не используйте спам-слова

Фильтры давно стали лучше, но тем не менее, на некоторые слова они продолжают обращать внимание. Не употребляйте без надобности:
коммерческие фразы: «пока вы спите», «без вложений», «купите», «закажите»;
медицинские термины: «лишний вес», «потенция»;
18+: «девушки онлайн», «анкета знакомств»;
Розыгрыши: «вы выиграли», «лотерея», «вас выбрали победителем» и т.д.
Яркие шрифты, режущие глаз, — верный признак спама

Привлекая внимание на каждой строчки, как не парадоксально, вы отталкиваете пользователя читать текст. Допустимо использовать цвета в заголовках, контактах, но не хаотично, а по делу.
Избегайте спамные темы. Типичные примеры всем известны: «Заработать 100500 долларов за 5 минут», «Получила айфон бесплатно», «80 кг уйдут, если…». Не нужно затрагивать темы 18+, финансовые пирамиды, секретные методики похудения, если вы не специалист в этой области, и ваши читатели не соглашались на такую рассылку.
Письмо должно отображаться всеми почтовыми сервисами, даже теми, которые не поддерживают HTML-технологии. Используйте Plain Text, письмо-текст, чтобы избежать блокировки фильтрами. Вы можете совмещать HTML и Plain Text, а что показать пользователю, уже решит сама программа.
Самая банальная рекомендация: делиться полезной информацией. Это значит, писать по той теме, на которую подписался пользователь. И делать контент интересным, чтобы его ждали и читали по почте.
Отключите Flash, JavaScript или ActiveX. Почтовые сервисы относятся к ним с подозрением, потому что в них можно скрыть вирус.
Желательно, чтобы новые ссылки открывались в новой вкладке браузера.
Используйте доменную почту, например, noreply@company.ru или info@company.ru. Рассылка с личных ящиков расцениваются как нежелательная почта. Покупайте хостинг VPS/VDS, предоставляющий индивидуальный IP, а не обычный, на котором могут зарегистрироваться до 500 других доменов. Тогда вам не потребуется делить свою репутацию.
Не верстайте посыл одной большой картинкой, на которой размещается вся информация. Фильтры быстро блокируют такие рассылки. Напишите хотя бы пару строк обычным текстом. Помните, что некоторые клиенты могут отображать только текстовые сообщения, и до пользователя не дойдет информация на изображении.
Фильтры блокируют рассылки с файлами больших размеров. Тут все просто: спамеры любят этот прием для передачи вирусов. Если вы предлагаете пользователю что-то скачать, воспользуйтесь ссылками на файлообменник.
Не забывайте оставлять ссылки на отписку. Даже если они будут сверху и снизу, это не будет призывом отписаться от вас. Другое дело, когда пользователь ищет ее, но не находит. Тогда он просто нажимает кнопку «Спам», а это хуже для репутации, чем просто отписка.
Приветствуется небольшой размер письма — до 100 Кб. Более тяжелое пропустят не все спам-фильтры.
Письма верстаются в стандартной кодировке UTF-8.
Прописывайте все цвета в шестнадцатеричном формате, с 6 цифрами после решетки #. Тогда программа для чтения писем не перепутает оттенки, а пользователь увидит задуманную гамму.
Большое количество подчеркиваний, жирных шрифтов, пустых строк, пробелов, переспам — фильтры принимают эти сообщения за спам и не доставляют их адресату.
Проверьте текст на укороченные ссылки (например, короткие адреса от известного bitly.com). Спамеры используют их для передачи зараженных сайтов или программ. Почты не одобряют эти приемы и требуют вставлять полные адреса, чтобы читатель видел, куда переходит. Рассылка заблокируется, если конечная целевая страница не совпадает с указанной в письме.
Ширина влияет на отображение. Если тело будет более 600 пикселей, то на экране пользователя оно может расползтись и неправильно отображаться.
Добавляйте картинкам alt-теги. Пользователь, у которого не отобразятся изображения, все равно уловит смысл письма, если они были соответственно подписаны. Фильтры не доверяют сообщения без alt-тегов. Их нужно добавлять ко всем изображениям без исключения.

API возвращает JSON строку, например:

Copy all

{"data":{"127.0.0.1":{"network_type":"unknown","country":"","appears":0,"frequency":0,"sha256":"12ca17b49af2289436f303e0166030a21e525d266e209267433801a8fd4071a0"},"stop_email@example.com":{"frequency":1001,"updated":"2021-02-22 12:06:14","spam_rate":0,"exists":1,"frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":1,"disposable_email":1,"sha256":"6d42ca0235d72b01a2b086ad53b5cfac24b5a444847fad70250e042d7ca8bf59"}}}

Copy all

{"data":{"email_08c2495014d7f072fbe0bc10a909fa9dca83c17f2452b93afbfef6fe7c663631":{"frequency":4,"updated":"2018-10-31 00:07:21","spam_rate":1,"exists":1,"frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":0,"disposable_email":1}}}

Для хэша адреса IP v4:

Copy all

{"data":{"ip4_f46604ded89bbd0e8e478172a9a650f4825a763053ad2e3582c8286864ec4074":{"frequency":13626,"updated":"2019-05-15 05:01:23","spam_rate":1,"network_type":"hosting","country":"GB","frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":1}}}

Расшифровка ответа:

data — обычно массив проверенных записей представлен в следующем формате: «record»: {массив проверенных результатов}. Иногда ответ «data» возвращает строку «In progress», это означает, что параллельный PHP-процесс работает с точно такими же параметрами — auth_key, method_name и records.

Важно! Ответ «In progress» является значимым его следует учитывать, так как если вызов API содержит большое количество элементов, то они могут быть проверены частично и выдастся ответ «In progress». Только при повторном вызове будут проверены все оставшиеся элементы

Массив с проверенными записями содержит следующие поля:

• appears — флаг присутствия в черных списках (показывает блокировку на настоящий момент),

• sha256 — хэш sha256 адреса,
• network_type — принадлежность к определенному типу сети (возможно в дальнейшем добавятся новые типы):

• spam_rate — спам-рейтинг от 0 до 100%. 100 означает точно спам (отношение спам запросов к общему количеству запросов). Параметр «spam_rate» может иметь значение от 0 до 1:  «spam_rate»: «1» — 100% запросов было спамом, «spam_rate»: «0,75» — 75% запросов было заблокировано как спам,
• submitted — дата и время первой спам-активности,
• updated — дата и время последнего обновления статуса,
• country — буквенный код страны, которой принадлежит IP адрес, в формате ISO 3166-1 alpha-2,
• exists — существует ли данный email (0 — не существует, 1 — существует, null — пустой статус, адрес не находится в списках в данный момент),
• disposable_email — является ли данный email временным (0 — обычный, 1 — временный, null — пустой статус, адрес не находится в списках в данный момент),
• frequency — количество сайтов отметивших запись как спам. Может быть от 0 до 9999 (показывает всю активность с самого начала обнаружения адреса),
• frequency_time_10m — активность за 10 минут (показывает сколько попыток спама было зафиксировано),
• frequency_time_1h — активность за 1 час (показывает сколько попыток спама было зафиксировано),
• frequency_time_24h — активность за 24 часа (показывает сколько попыток спама было зафиксировано),
• in_antispam — IP адрес найден в чёрном списке анти-спам,
• in_security — IP адрес найден в чёрном списке безопасности (brute-force),
• domains_count — число доменов, найденных на IP адресе.

В случае указания параметра «date» данные ответа приводятся только на указанную дату. Посредством POST запроса можно за один раз отправить на проверку до 1000 записей.

Если не было активности с адреса в течение 14 дней, то запись удаляется из черных списков, но вся история остаётся.

Почему письма попадают в спам

Проверка на ловушки. Адрес-ловушка — это почтовый адрес, который не использовали больше года. Если он оказывается в базе, есть основания считать ее купленной и нелегальной, а рассылки — блокировать.

Проверка репутации домена. Информация о доменах сохраняется с момента создания. Если когда-то с него рассылали спам, то и новые рассылки программа может считать нежелательными.

Проверка на аномалии. Если база адресов резко выросла — это подозрительно. Антиспам-программа следит за ней и может посчитать неестественным скачок в несколько раз или на порядок.

Какой процент спама считать нормой

Допустимый процент жалоб зависит от объема рассылки. Чем больше адресатов, тем он ниже. В таблице указаны пороговые значения. Если он выше — могут возникнуть проблемы.

Количество жалоб в месяц	Процент спама
До 10 000	1,4
До 500 000	1,3
До 10 000 000	1,1
До 50 000 000	0,7
Больше 50 000 000	0,4

Хороший показатель спама — не более 0,5%.

Что делать, чтобы не попасть в спам

Антиспам учитывает тысячи параметров. Нельзя дать 100% гарантию, что письмо не уйдет в спам, но можно существенно снизить этот риск. Ниже пять практических советов.

Использовать IP и домен с хорошей репутацией

IP-адрес идентифицирует компьютер или почтовый сервер. Домен — это часть адреса электронной почты.

Для рассылок можно использовать свой IP, а можно купить его у сервиса. У общего IP обычно хорошая репутация, он «прогрет», то есть с него отправляется много писем. При этом с него отправляют рассылки все клиенты сервиса, а их вы контролировать не можете. У выделенного IP истории нет, его придется «прогревать» самостоятельно, но и контролируете ситуацию только вы.

Если отправляете меньше 100 тысяч писем в год, можете и не переходить на выделенный IP-адрес. В случае, если рассылки объемные и частые, правильнее использовать выделенный IP, чтобы не зависеть от соседей по сервису и нарабатывать свою репутацию.

Если решили купить выделенный IP, обязательно пройдите аутентификацию, отправляйте письма небольшими партиями, анализируйте открываемость и спам-отчеты.

Репутацию IP можно проверить с помощью SpamAssassin, SpamCop, Spamhaus. Для проверки репутации и подробной оценки домена, пользуйтесь MxToolbox.

Использовать email-аутентификацию: DKIM, SPF, DMARC

DKIM (DomainKeys Identified Mail). Позволяет добавить электронную цифровую подпись в письмо и идентифицировать отправителя. Защищает от интернет-преступлений, улучшает репутацию и скрывает домен от получателя.

SPF (Sender Policy Framework, или структура политики отправителя). Позволяет проверить подлинность домена. Для каждого поддомена нужно прописывать свою SPF-запись.

DMARC (Domain-based Message Authentication, Reporting and Conformance). Задает стандарт проверки входящей почты. Усиливает оборонительную способность SPF и DKIM.

Чтобы проверить, прошло ли письмо проверку SPF и DKIM, откройте заголовки в почтовом клиенте, найдите «Authentication-Results» и убедитесь, что после «spf» и «dkim» стоит «pass».

Весь механизм в упрощенном виде работает так: поиск верифицированного отправителя DKIM → проверка поля «from» через SPF → применение DMARC.

Подтверждать email-адреса

Нет смысла отправлять электронные письма людям, которые не хотят их получать. Вот три способа поддерживать порядок в базе.

Double Opt-in. Явное приглашение подписаться на рассылку и последующее двойное подтверждение — лучший способ собрать качественную базу. Используйте Double Opt-in.

Hard bounced. Несуществующие, тестовые и ошибочные адреса — угроза. Если их количество доходит до 5%, вероятность блокировки возрастает многократно. Регулярно убирайте из базы такие адреса.

Черный список. Если меняете сервис рассылок, обязательно перенесите в новый сервис черный список отписавшихся клиентов, спам-репорты и несуществующие адреса.

Зарегистрироваться в постмастере

Постмастеры — это сервисы для аналитики рассылок. У каждой почтовой службы свой: постмастер Mail.ru, постмастер Яндекс.Почты и Postmaster Tools от Gmail.

Постмастеры позволяют анализировать данные и принимать решения. Вот показатели, за которыми удобно следить с их помощью:

• Доставляемость
• Открываемость
• Отписки
• Жалобы на спам
• Репутация домена

Постмастер дает информацию о причинах попадания писем в спам. Эта возможность есть и в Convead.

Профилактика попадания в спам-листы

Чтобы снизить вероятность попадания домена в черные списки, стоит заняться профилактикой. В данном случае профилактические меры просты и выполнимы:

Использовать Double Opt-In. Так можно уберечь свою базу от ботов, спам-ловушек и несуществующих адресов. Более того, стоит предложить той части контактов, которые были собраны без DOI, подтвердить свои емейлы.

В обязательном порядке верифицировать домен.

Соблюдать гигиену базы. Не отправлять рассылки тем, кто давно не открывал ваших писем. Некоторые ящики могли превратиться в спам-ловушки или прекратили свое существование. Поэтому необходимо регулярно чистить базу.

Добавить в форму сбора контактов капчу

Да, мера непопулярная, но от активности ботов защитит.

Зарегистрироваться в постмастерах и отслеживать репутацию отправителя.

Проверять спам-базы, чтобы быстро исправить ситуацию.

Обращать внимание на раздел отчета о рассылке с ошибками. Здесь можно увидеть, по какой причине не отправлено письмо, и попадание домена в спам-листы может быть одной из таких причин, например, формулировка может быть следующей: Message blocked due to spam content in the message.

Как максимально обезопасить себя

Следуйте рекомендациям самих провайдеров.

1. Собирайте базу только на своих ресурсах через формы, где есть скрытое поле, внутренняя валидация и, желательно, двойное подтверждение подписки. Это когда посетитель на сайте вводит в форму свой email (1 шаг), на который тут же приходит ссылка-подтверждение — только кликнув по ней (2 шаг), пользователь будет подписан. А при отправке подтверждающего письма на адрес-ловушку, мы никогда не получим ответ. Но если мы игнорируем этот способ подписки, то не получим уведомление о том, что письмо не доставлено получателю, и продолжим отправлять туда письма/сигналы для провайдера.
2. Сегментируйте подписчиков по активности, ведь с адреса спам-ловушки мы не получим ни одной положительной email-метрики, будь то открытие письма или клик.
3. Используйте для мониторинга бесплатный сервис senderscore.org и в случае выявления проблем вы всегда сможете запросить на платформе, через которую вы отправляете массовые рассылки, смену IP-адресов с плохой репутацией или с большим количеством Spam-traps. Ещё есть платный сервис mailvalidator.ru, на котором вы можете полностью проверить состояние базы и почистить её от возможных проблемных email-адресов. Правда, этот сервис руководствуется общими признаками по определению подобных ловушек и не гарантирует 100% результат.

Почему отправитель попадает в спам лист

Почтовые провайдеры ориентируются на репутацию домена и на уловки, созданные для поимки спамеров.

• Ловушки. У каждого почтового клиента есть список адресов, владельцы которых давно уже забыли про них. Обычно они ждут полгода-год, как пользователь не заходит в свой ящик, а потом используют его. Алгоритм прост: считается, что сообщение, приходящее на такой ящик, является спамом, а отправитель, соответственно, спамером. И его заносят в черные списки доменов или IP, репутация падает, остальные письма до других адресатов не доходят. Поэтому нужно фильтровать базу клиентов, удалять известные ловушки и недействующие адреса.
• Отсутствие Double Opt-In, только Single Opt-In. Более подробно про них мы поговорим в следующем разделе. Single Opt-In дает возможность конкурентам черными способами испортить собранную базу, добавив туда ловушки, роботов и много еще «приятного».
• Жалобы пользователей. Они могут поступать по разным причинам: спамная тема, рассылка без их уведомления, вирусные файлы и многое другое.

Для решения некоторых задач помогут инструменты. Например, для поиска ловушек бесполезно фильтровать лист вручную, потому на глаз нельзя определить, как давно владелец проверял письма. Один из способов: проверить с помощью Bounceless или Mailvalidator. Периодически отправляйте сообщения с просьбой подтвердить рассылку, но не всем, а именно тем пользователям, которые не просматривают ее в течение нескольких месяцев.