最近，主机帮发现旗下的一个云加速网站越来越卡，明明没有什么流量，但是服务器越来越卡。
查询访问日志后，发现一个名叫SemrushBot的爬虫一直在抓取网站，频率非常高，可以说到了丧心病狂的地步。
主机帮查了下，这个SemrushBot 是 SEMrush 的蜘蛛爬虫。
SEMrush是一家老牌的提供搜索引擎优化数据的公司，而SemrushBot 这个爬虫就是他们专门收集互联网网站数据的，对国内网站来说，一点用处都没有，国外的网站大多也屏蔽这个蜘蛛，原因是不仅网站数据暴露了，还严重影响服务器性能。
主机帮专用百度云防护自定义规则把这个蜘蛛拦截了。
昨天设置拦截后，我们今天来看拦截效果，一天拦截了几万次的SemrushBot 请求，这还不到24小时！可见SemrushBot 是有多丧心病狂。
