使用百度云加速后百度蜘蛛抓取失败?

最近有一位客户向主机吧反馈:网站使用百度云加速后,百度蜘蛛不抓取了,百度站长平台抓取失败。

使用百度云加速后百度蜘蛛抓取失败?插图

针对这个问题,主机吧专门测试了下,演示网站,发现并没有出现抓取失败的情况。

使用百度云加速后百度蜘蛛抓取失败?插图1

主机吧这个网站接入好几年了,也没有出现抓取失败的情况。

使用百度云加速后百度蜘蛛抓取失败?插图2

那为何客户出现这个问题呢? 针对这个问题,主机吧经验来看有以下情况:

  1. 网站源服务器更换过IP

很多站长接入百度云加速都是用来防御攻击的,在接入之前都是把源服务器IP更换一个新的隐藏起来,而百度蜘蛛更新抓取网站IP是有生效时间的,一般48小时左右,而在这48小时内,百度蜘蛛会一直抓取的是旧的IP, 这也就导致百度站长平台抓取一直失败。

2.更换DNS所致

一些客户选择的是NS接入,而DNS更改是有生效时间的,一般全部生效72小时左右,在这期间如果把原来的DNS解析删掉的话,会出现部分地区无法访问的情况,百度自然就抓取失败。

3.服务器内置有防火墙

接入百度云加速后,一定要第一时间把百度云加速的IP段加入服务器防火墙白名单,否则会出现防火墙拦截百度节点的情况。

4.百度节点下线所致

百度云加速是高防CDN,CDN的IP都是动态的,当节点故障的时候就会自动下线。如果百度蜘蛛刚好抓取的是这个节点的话,那么就会出现无法请求的情况。所以我们在使用CDN的时候,最好用cname接入,然后用DNS搜索引擎回源处理,这样百度蜘蛛访问网站的时候就不会经过百度云加速节点了。

至于为什么百度蜘蛛不来,主机吧了解后,发现这个客户网站是一个新站,百度蜘蛛在经过首次抓取后,一般会有一个观察期,所以蜘蛛来得少,或者不来都是正常的,耐心等待百度搜索放出来就行了。

这里要说下,网站源服务器稳定是搜索引擎SEO的重要基础,想要蜘蛛常来,源服务器一定要稳定,速度快,网站内容要保持每天更新,不能三天打鱼两天晒网。

给TA打赏
共{{data.count}}人
人已打赏
好经验

使用百度云加速CDN后微信网页授权登录提示Error code: 40164, message: invalid ip

2022-7-26 13:08:05

好经验

图片网站流量非常大要如何省服务器带宽费?

2022-7-27 20:15:30

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索