Crawler Rate Limit

Модуль Crawler Rate Limit позволяет ограничить количество запросов выполняемых поисковыми роботами/ботами/пауками.

Нагрузка на сайт со стороны пауков, может приводить к заметному снижению быстродействия сайта для посетителей, поэтому этот модуль может положительно повлиять на скорость и удобство посетителей. Модуль определяет кем сделан запрос на основе заголовка UserAgent и ограничивает для него количество запросов разрешённым значением. При достижении ограничения разрешённого количества запросов, сервер даёт с ответ с кодом 429 (слишком много запросов).

Возможности модуля

• Нацелен на работу только с пауками, обычный трафик браузеров не затрагивается
• Настройка количества разрешённых запросов в заданном интервале
• Ограничение запросов на основе UserAgent, если один и тот же паук использует несколько IP-адресов, они все будут учтены в едином ограничении
• Минимальное влияние на быстродействие
• Использование Redis в качестве бэк-энда ограничителя скорости

Установка и настройка

• Скачайте, распакуйте и включите модуль
• Добавьте следующий код в файл settings.php установив нужные значения
  // Below configuration will allow crawlers to perform 100 requests
// within 600 seconds.

// Time interval in seconds.
$settings['crawler_rate_limit.settings']['interval'] = 600;
// Number of requests allowed in the given time interval.
$settings['crawler_rate_limit.settings']['operations'] = 100;
// Set to FALSE to disable the limiter.
$settings['crawler_rate_limit.settings']['enabled'] = TRUE;

Системные требования

• Модуль Redis
• jaybizzle/crawler-detect
• nikolaposa/rate-limit