-
利用百度云防护拦截gptbot amazonbot PanguBot BLEXBot DataForSeoBot SemrushBot等爬虫
最近，一位做文库的站长反馈，网站服务器经常无缘无故的宕机，CPU被占满。 主机邦查询后发现客户网站出现大量爬虫访问，最多的是gptbot、amazonbot、PanguBot、BLEXBot、DataForSeoBot、SemrushBot这几个访问最多，一天能请求进来几十万次，简直疯狂。 这些爬虫大多是一些AI爬虫或者数据分析网站的爬虫，对网站没有任何用处，因此，可以利用百度云防护进行拦截。 操…- 3.3k
- 0
