最近好多站长反馈自家网站遭到了各种爬刷流量的问题。


就连主机帮也遭到了类似的情况,主要体现在于服务器CPU占满、带宽占满,导致网站打开卡顿。
为此主机帮观察了下日志,发现这些爬虫每秒访问网站的链接都不一样,IP也不一样,浏览器UA也不一样,更恐怖的是对方每个IP只访问一两次,单IP访问频率非常低,而且IP段还不一样,简直跟做得跟真人访问网站一模一样。
传统的防火墙根本无法拦截识别和拦截这类爬虫,主机帮开了在百度云防护开启了智能CC防护模式,但只能拦截一些访问频率比较高的IP,而针对这类爬虫是无法有效自动拦截的。
那怎么解决这类问题呢?主机帮采用了JA3指纹拦截,这是一种应对爬虫机器非常有效的方法,使用这个方法的前提是网站必须部署有SSL证书,并采用HTTPS访问。
操作也很简单,直接在百度云提交工单,让百度提供近一天的访问前十的JA3指纹,然后进入百度云防护web防护-自定义规则,把这些指纹加入拦截即可,如下图:

以上是在知道对方JA3指纹的情况做的拦截,如果不知道的话可以使用CC防护功能,精准自定义CC,针对JA3指纹访问进行频率控制,如下图:

JA3指纹不等于某个值,访问就会限制10秒钟内只能访问10次,超过10次就会拦截1个小时,这样,百度云防护就会对每个访问机器访问网站进行频率控制。
当然,这个方法虽然能有效拦截恶意爬虫,但对搜索引擎爬虫也是有控制效果的,所以我们一定要先把搜索引擎UA先加白。

说完操作方法后,我们来看拦截效果。



同一个JA3指纹,访问却是不同的IP,但IP都是来自广东的,因此可以判断这是一个利用广东代理IP来刷网站的,同一个人所为。
通过拦截后,主机帮服务器恢复了正常,因此,可以认为并没有误拦截的情况,引起网站服务器CPU、带宽占满的,就是这个JA3指纹的机器刷的。


