Защита сайта от программ парсинга, которые подставляют в User-Agent данные поисковых роботов.
Решение позволяет увеличить защиту от парсинга, блокируя запросы от программных средств, осуществляющих парсинг сайтов.
Модуль проверяет роботов с помощью обратного DNS-запроса, если обратный ответ пришел не от поисковой системы, то данный юзер будет заблокирован с ошибкой 403.
Поддерживаемые роботы:
Справка о проверке принадлежности роботов Google: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot
Решение позволяет увеличить защиту от парсинга, блокируя запросы от программных средств, осуществляющих парсинг сайтов.
Модуль проверяет роботов с помощью обратного DNS-запроса, если обратный ответ пришел не от поисковой системы, то данный юзер будет заблокирован с ошибкой 403.
Поддерживаемые роботы:
- Googlebot
- Yandex
- Mail
- Bing
Справка о проверке принадлежности роботов Google: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot
Минимальные технические требования:
- PHP 7.4
- Библиотека curl
- Установка стандартная. Скачайте, в разделе «Установленные решения» выбираем «Установить». Перейти для настройки в раздел «Настройки модуля»
Техническая поддержка осуществляется только по электронной почте: info-sam24@yandex.ru