Как заблокировать ботов которые грузят сервер

Здравствуйте мои дорогие читатели. В этой статье я расскажу вам как заблокировать ботов, которые нам не нужны.

Предисловие

Итак, мы уже сделали сам себе сайт для бизнеса или для хобби. Качественный дизайн радовал нам глаза, а счетчик отсчитывал посетителей. Но радость иногда падает в ошибку 500. Мы смогли написать статью на тему как найти процессы, которые грузят наш сервер.  А еще у нас есть небольшая статья, которая была написана после решения проблеммы когда сервер грузят запросы OPTIONS. Сегодня пришла очередь разобраться с ботами. Мы узнаем как заблокировать ботов которые грузят сервер.

Статистика боты которые грузят сервер

Какие боты грузят сервер

Первым делом стоит поделить ботов которые грузят сервер на хороших и плохих. К хорошим отнесем, пожалуй ботов поисковых систем google, yandex и подобных. К плохим ботам, которых называем bad_bot мы относимся с презрением и блокируем их на входе. Добавим код в .htaccess

Options All -Indexes
SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot
Deny from env=bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Есть еще боты краулеры, они уже сильнее грузят наш сервер, потому как не просто индексируют наш сайт. Crawler бот обычно выкачивает наш сам себе сайт полностью.

Что такое WGET бот

WGETbot это веб-сканер, который имитирует поведение командной строки Wget. Такой бот используют для извлечения контента с сервера. Wget инструмент для загрузки файлов и веб-страниц, поддерживающий протоколы HTTP, HTTPS и FTP. WGETbot автоматизирует процесс парсинга веб-страниц для различных целей. Варианты использования включают сбор данных, зеркалирование веб-сайта и архивирование контента. Он особенно полезен для разработчиков которые занимаются парсерами, которым необходимо эффективно собирать данные из сети.

Как заблокировать ботов WGET

Через файл robots.txt добавьте правило, чтобы запретить WGETbot. Этот файл указывает всем ботам, какие части вашего сайта следует избегать. Но помните, что не все боты будут исполнять инструкции этого файла

User-agent: Wget
Disallow: /

Через правила .htaccess используемый Apache, чтобы блокировать запросы от WGETbot на стадии проверки строки User-Agent

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Wget [NC]
RewriteRule .* - [F,L]

Через конфигурацию Nginx для сервера, чтобы заблокировать ботов на основе User-Agent добавьте инструкцию.

if ($http_user_agent ~* 'Wget') {
return 403;
}

Также настройте правила брандмауэра для блокировки IP-адресов, связанных с нежелательной активностью ботов. Но помните, что для этого требуется постоянный мониторинг нагрузки на сервер.

Как заблокировать ботов zbot

Бот-сканер _zbot это автоматизированный веб-сканер, предназначенный для индексации и анализа содержимого веб-сайта. Обычно он используется для агрегации данных, SEO анализа и сбора конкурентной разведки. Систематически посещая веб-страницы, _zbot собирает такую ​​информацию, как метаданные, структура страницы и обновления контента. Эти данные можно использовать для оптимизации рейтингов поисковых систем, мониторинга действий конкурентов или улучшения стратегий цифрового маркетинга. Преимущества использования _zbot включают улучшение видимости в поисковых системах. Понимание рыночных тенденций и возможность отслеживать изменения на веб-сайтах конкурентов. Однако чрезмерное сканирование может привести к увеличению нагрузки на сервер и потенциальным проблемам конфиденциальности, если осуществляется доступ к конфиденциальным данным.

Блокируем _zbot

robots.txt

User-agent: _zbot
Disallow: /

.htaccess

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} _zbot [NC]
RewriteRule .* - [F,L]

Заключение

Так мы узнали как заблокировать ботов, которые не несут нам пользы и просто грузят сервер VPS.

Ботов которых стоит заблокировать

Как заблокировать ботов которые указаны в этой таблице уже знаем. Самый надежный способ это через внесение кода в файл .htaccess или через настройку сервера. Робот знает. Напишите в комментарии, если вас мучают боты по ночам.