<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>ISPmanager &#8211; REMADMIN</title>
	<atom:link href="https://remadmin.com/tags/ispmanager/feed/" rel="self" type="application/rss+xml" />
	<link>https://remadmin.com</link>
	<description>Удалённый системный администратор</description>
	<lastBuildDate>Sat, 04 Feb 2023 14:32:54 +0000</lastBuildDate>
	<language>ru-RU</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.5</generator>
	<item>
		<title>Nginx &#8211; блокируем вредных ботов.</title>
		<link>https://remadmin.com/blog/linux/nginx-blokiruem-vrednyh-botov/</link>
					<comments>https://remadmin.com/blog/linux/nginx-blokiruem-vrednyh-botov/#comments</comments>
		
		<dc:creator><![CDATA[REMADMIN]]></dc:creator>
		<pubDate>Sun, 22 Jan 2023 12:35:59 +0000</pubDate>
				<category><![CDATA[Linux]]></category>
		<category><![CDATA[ISPmanager]]></category>
		<category><![CDATA[Nginx]]></category>
		<guid isPermaLink="false">https://remadmin.com/?p=6998</guid>

					<description><![CDATA[В сети существует огромное количество ботов, которые занимаются сканированием сайтов. Некоторые боты полезны и мы ждём их (например боты поисковых систем), а некоторые не несут для нас никакой пользы, а наоборот, создают ненужную нагрузку на сервер. И зачастую довольно приличную. Естественно этих бесполезных, то есть вредных для нас ботов, лучше всего забанить для всего сервера [&#8230;]]]></description>
										<content:encoded><![CDATA[<p>В сети существует огромное количество ботов, которые занимаются сканированием сайтов. Некоторые боты полезны и мы ждём их (например боты поисковых систем), а некоторые не несут для нас никакой пользы, а наоборот, создают ненужную нагрузку на сервер. И зачастую довольно приличную.<span id="more-6998"></span></p>
<p>Естественно этих бесполезных, то есть вредных для нас ботов, лучше всего забанить для всего сервера раз и навсегда.</p>
<p>Если на сервере используется <strong>Nginx</strong>, оптимальный вариант &#8211; заблокировать через него по юзерагенту.</p>
<h4>Блокируем вредных ботов при помощи Nginx с установленной панелью ISPmanager.</h4>
<p>В каталоге<strong> /etc/nginx/vhosts-includes/</strong> создаём файл с любым именем, но обязательно с расширением <strong>.conf</strong>, например <strong>badbot-block.conf</strong></p>
<p>И в этот файл вставляем следующий код, со списком юзерагентов ботов, которых нужно заблокировать:</p>
<pre class="EnlighterJSRAW" data-enlighter-language="nginx">if ($http_user_agent ~* "(InternetMeasurement|MBCrawler|YaK|niraiya.com|Cloudfind|SafeDNSBot|SeopultContentAnalyzer|serpstatbot|LinkpadBot|DataForSeoBot|Scrapy|ZoominfoBot|semantic-visions.com crawler|Konturbot|serpstatbot|Mediatoolkitbot|DataForSeoBot|Amazonbot|Semanticbot|PetalBot|Yahoo|Seekport|Comparserbot|SemrushBot|AhrefsBot|BLEXBot|mijbot|MJ12bot|DotBot|MauiBot|NTENTbot|MegaIndex|ScooperBot|heritrix|SentiBot|Linguee|Adsbot/3.1|NetSeer|Barkrowler|Barkrowler)")
{ return 403; }</pre>
<p>Список ботов редактируете по своему усмотрению, посмотреть юзерагенты можно в <strong>access.log</strong> ваших сайтов.</p>
<p>После создания файла, нужно чтобы <strong>nginx</strong> перечитал свои конфиги и наша блокировка заработала.</p>
<p>Для начала стоит проверить корректность синтаксиса, чтобы убедиться, что вы не допустили никаких ошибок. Проверяем командой:</p>
<pre class="EnlighterJSRAW" data-enlighter-language="powershell">nginx -t</pre>
<p>Если всё ок, то выполняем:</p>
<pre class="EnlighterJSRAW" data-enlighter-language="powershell">service nginx reload</pre>
<p>На этом всё, боты будут видеть ошибку 403, при попытке попасть на сайт.</p>
]]></content:encoded>
					
					<wfw:commentRss>https://remadmin.com/blog/linux/nginx-blokiruem-vrednyh-botov/feed/</wfw:commentRss>
			<slash:comments>2</slash:comments>
		
		
			</item>
	</channel>
</rss>