网站上线，总会遇到有人恶意采集，还有一些SEO营销公司，也喜欢采集别人网站的数据，尤其是现在流行AI，有些AI也开始采集内容，这些爬虫蜘蛛对网站没有好处，反而会消耗网站的资源，最好禁止访问。
下面是搜集到的常见的恶意爬虫，添加到宝塔防火墙里面即可。
AhrefsBot
AwarioBot
BLEXBot
Barkrowler
CensysInspect
Criteo
DataForSeoBot
DigExt
DnyzBot
DotBot
ExtLinksBot
Ezooms
FlightDeckReports
Go-http-client
Grapeshot
Heritrix
HttpClient
HubSpot
InternetMeasurement
Knowledge AI
Linguee Bot
MJ12bot
MauiBot
MegaIndex
RepoLookoutBot
SemrushBot
SurdotlyBot
Web-Crawler
WellKnownBot
Yellowbrandprotectionbot
ZoominfoBot
axios
fasthttp
github
libcurl
paloaltonetworks
python
seokicks
serpstatbot
webprosbot
添加位置如上图。如果你没有安装nginx防火墙，需要写在nginx配置文件里。
正文完
