网站慎用防火墙软件,可能会导致百度抓取不到

今天,一位客户联系到主机吧反馈使用这边高防IP后,百度抓取不了,显示加载中。

网站慎用防火墙软件,可能会导致百度抓取不到插图

我们先是让客户到百度站长平台用抓取诊断检测,发现百度站长平台抓取的是源IP的,也就排除了高防IP拦截百度蜘蛛的问题。

网站慎用防火墙软件,可能会导致百度抓取不到插图1

由于客户使用的源服务器也是跟我们买的,用的是景安的服务器,我们又提交了工单,让景安的技术进行检测。

技术反馈如下:

您好,检测服务器是没有限制百度和站长工具进行抓取的,测试对IP地址检测可以显示正常内容,这边又对您的域名进行检测时发现,第一次使用浏览器访问时,您的网站title处会先显示正在加载中,然后才会显示正常页面,再次刷新就不会出现了,反复使用世界之窗,火狐浏览器,谷歌浏览器,360安全浏览器测试均有此现象,此问题可能与您的程序设计有关,建议您检查一下,或者您可以使用其他的程序文件放进去测试一下。

这个情况有点类似于百度云加速的强力防护模式的5秒安全检测,主机吧怀疑是开启软件防火墙导致的,于是咨询客户是否在服务器开启有软件防火墙,结果还真是,客户启用了宝塔面板里的CC防火墙,而且还启用了严格模式,也就导致了百度蜘蛛抓取的是一个跳转页。

找到问题后客户马上把防火墙关了,果然抓取正常了。

网站慎用防火墙软件,可能会导致百度抓取不到插图2

从这件事中,让我们警惕,别乱开防火墙,特别是网上那些软防,其大多数都是误杀拦截很严重的软件,很多都是对正常访问进行限制才能防得住CC攻击的,可能会对你的业务造成严重损失,像今天这位客户,就是因为百度抓取不到,显示加载中,现在网站流量几乎没有了,所以选用防护服务的时候,一定要谨慎!

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
个人中心
购物车
优惠劵
搜索