Защита сайта от бот-трафика, прямых заходов и накрутки ПФ

Описание

Предоставляем платные услуги по защите сайта от накрутки и ботового трафика. Цена: 5000 рублей. Срок выполнения работы: от 3 до 5 рабочих дней.

Контакты

Имя: Александр Дружный Специализация: SEO-специалист Опыт: Более 10 лет Команда: BoostSEO Удаленная работа На связи 24/7 Рабочее время: Пн-Пт: 8:00 — 18:00 (по МСК) Образование: Высшее (Бизнес-информатика), Среднее специальное (Информационные системы) Телефон: +7 (992) 345-41-55

Распространенные виды ботов, от которых требуется защита:

• Web Scraping Bots: Эти боты используются для извлечения данных с веб-сайтов без разрешения. Они могут использоваться для соскабливания и копирования конфиденциальных данных, таких как прайс-листы, описания продуктов и другая ценная информация
• Credential Stuffing Bots: Эти боты используются для автоматизации процесса тестирования комбинаций имени пользователя и пароля с целью получения несанкционированного доступа к учетным записям пользователей.
• Боты-спамеры: Эти боты используются для рассылки спама пользователям по электронной почте или через социальные сети.
• DDoS-боты: Эти боты используются для проведения распределенных атак типа «отказ в обслуживании» (DDoS), в результате которых веб-сайт становится недоступным для пользователей.
• Боты рекламного мошенничества: Эти боты используются для генерации фальшивого трафика на веб-сайтах, что приводит к ложным показам рекламы и кликам.
• Чат-боты: Эти боты используются для автоматического общения с пользователями, но вредоносные чат-боты могут быть использованы для того, чтобы обманом заставить пользователей поделиться личной информацией или загрузить вредоносное ПО.

Важно правильно применять методы обнаружения и управления ботами для защиты веб-сайтов от этих вредоносных ботов.

Существует несколько признаков, которые могут указывать на то, что сайт подвергся атаке ботов. К ним относятся:

• Увеличение количества прямых заходов, переходов с рекомендательных сайтов (например, с Яндекс.Дзен) и переходов с социальных сетей с мобильным юзерагентом.
• Увеличение процента неудачных попыток входа в систему.
• Уменьшение количества отказов, но в тоже время уменьшается и время на сайте вместе с глубиной просмотра.
• Аномальные скачки трафика, особенно в ночное время.
• Высокий показатель отказов — процент посетителей, которые покидают сайт после просмотра только одной страницы.
• Внезапное увеличение количества созданных аккаунтов или отправленных форм.
• Если боты идут с прямых заходов, то проводят на сайте не менее 15 секунд, чтобы метрика не засчитала отказ.
• Большое количество запросов с одного и того же IP-адреса.
• Боты имитируют действия человека, если смотреть вебвизор: скроллят страницу, даже останавливаются на каком-то участке текста. Но, как отмечают многие веб-мастеры, этим только выдают себя – на человеческие действия это совсем не похоже.
• Наличие подозрительных пользовательских агентов или заголовков в журналах сайта.
• В основном боты селятся на сайтах с хорошей посещаемостью – от 500 до 1 000 в сутки.
• Большая часть ботов идёт с IP-адресов сетей мобильных операторов Москвы или Московской области. Особой популярностью у ботоводов пользуется Metropolitan branch of OJSC MegaFon. Так же много ботов идёт с IP-сети, которая подписана как IPv4 address block not managed by the RIPE NCC.

Владельцам веб-сайтов важно отслеживать свой сайт на наличие этих признаков активности ботов и принимать соответствующие меры для предотвращения или ослабления атак.

Как происходит защита сайта от негативного трафика?

1. Запрет на вход популярным плохим ботам и краулерам через Htaccess. Htaccess— это локальный конфигурационный файл веб-сервера Apache, который позволяет управлять настройками сайта. В отличие от главного конфигурационного файла, который позволяет выполнять настройку веб-сервера в целом, .htaccess даёт возможность изменять настройки для отдельно взятых папок и пользователей. Более 400+ ботов в списке. Пример: BLEXBot, MJ12bot, DotBot, AhrefsBot, MBCrawler, LinkpadBot и т.д. Блокируем по списку юзерагентов различные сервисы-анализаторы, мониторинги и парсеры.
2. Подключение сайта к бесплатному сервису Cloudflare (Прокладка между пользователем и Хостингом). Приятный бонус: Ускорение сайта.
3. Полная настройка Cloudflare, установка правил.
   1. По умолчанию даем доступ к сайту поисковым и белым ботам. (Поисковые боты всегда будут иметь доступ к сайту).
   2. Принудительно переводим сайт на HTTPS (SSL-сертификат, дополнительная защита веб-сайта) — Always Use HTTPS.
   3. Пользователям из ненужных стран отдаем «JS Challenge» (заглушка 5 секунд перед входом, не капча).
   4. Всех, кто приходит с IPV6 и без HTTPS заставляем разгадать каптчу.
   5. Отправляем на JS проверку всех, кто обращается по протоколу ниже HTTP/2 и прямые заходы. Многие спайдеры вроде Screaming Frog работают именно на протоколах HTTP1, тем самым мы можем на уровне CF запретить любой парсинг сайта.

На выбор 5 сценариев:

• Block— блокировка доступа.
• Challenge (CAPTCHA)— включение проверки с помощью Google reCAPTCHA.
• JS Challenge— показ межстраничного уведомления как при включении режима I’m Under Attack.
• Bypass— отключение проверки.
• Allow — полный доступ.

Что категорический нельзя делать?

• Блокировать IP-адресов и отдельные подсети.
• Включение «Under attack mode».
• bot fight mode и super bot fight mode на платном тарифе.

Пример эффективной борьбы с прямым трафиком

Пример #1

Коэффициент решения задач (CSR) — это процент выданных задач — интерактивных задач, задач JS или управляемых задач — которые были решены.

Как видно на скриншоте, количество решенных задач ничтножно мал, что говорит о том, что боты не смогли проникнуть на сайт.