В сети существует огромное количество ботов, которые занимаются сканированием сайтов. Некоторые боты полезны и мы ждём их (например боты поисковых систем), а некоторые не несут для нас никакой пользы, а наоборот, создают ненужную нагрузку на сервер. И зачастую довольно приличную.

Естественно этих бесполезных, то есть вредных для нас ботов, лучше всего забанить для всего сервера раз и навсегда.

Если на сервере используется Nginx, оптимальный вариант — заблокировать через него по юзерагенту.

Блокируем вредных ботов при помощи Nginx с установленной панелью ISPmanager.

В каталоге /etc/nginx/vhosts-includes/ создаём файл с любым именем, но обязательно с расширением .conf, например badbot-block.conf

И в этот файл вставляем следующий код, со списком юзерагентов ботов, которых нужно заблокировать:

if ($http_user_agent ~* "(InternetMeasurement|MBCrawler|YaK|niraiya.com|Cloudfind|SafeDNSBot|SeopultContentAnalyzer|serpstatbot|LinkpadBot|DataForSeoBot|Scrapy|ZoominfoBot|semantic-visions.com crawler|Konturbot|serpstatbot|Mediatoolkitbot|DataForSeoBot|Amazonbot|Semanticbot|PetalBot|Yahoo|Seekport|Comparserbot|SemrushBot|AhrefsBot|BLEXBot|mijbot|MJ12bot|DotBot|MauiBot|NTENTbot|MegaIndex|ScooperBot|heritrix|SentiBot|Linguee|Adsbot/3.1|NetSeer|Barkrowler|Barkrowler)")
{ return 403; }

Список ботов редактируете по своему усмотрению, посмотреть юзерагенты можно в access.log ваших сайтов.

После создания файла, нужно чтобы nginx перечитал свои конфиги и наша блокировка заработала.

Для начала стоит проверить корректность синтаксиса, чтобы убедиться, что вы не допустили никаких ошибок. Проверяем командой:

nginx -t

Если всё ок, то выполняем:

service nginx reload

На этом всё, боты будут видеть ошибку 403, при попытке попасть на сайт.

Нужна профессиональная удалённая помощь с сервером, сайтом, компьютером или ноутбуком?

Свяжитесь со мной любым удобным для вас способом, и получите её быстро и не дорого.

Обсудить задачу

Помогла статья? Поблагодари автора!

Остались вопросы, или есть что добавить? Добро пожаловать в комментарии.

Угостить автора чашечкой кофе