网站访问蜘蛛过多 导致负载状态一直100%,怎么办?

网站访问蜘蛛过多 导致负载状态一直100%,怎么办?插图

蜘蛛过多,导致负载状态一直100%,又不想升级服务器,怎么办?360和头条的蜘蛛同时来,但是过几个小时蜘蛛不来了又恢复了。

来归来啊,你是一条收录都没有,站长平台也没有看到索引量和收录,但是基本天天来,导致服务器一直负载状态一直100%。

这个有没有办法解决?难道禁止他们来吗?还是让他一直这样,还还还还是是是有其他的解决方法?

遇到这个问题我们可以尝试通过搜索引擎站长平台来调节蜘蛛的抓取频次。

百度站长平台-抓取频次-当前抓取频次过大如何解决?-抓取频次上限调整

网站访问蜘蛛过多 导致负载状态一直100%,怎么办?插图1

360搜索站长平台-蜘蛛压力-手动调整最大抓取频率

网站访问蜘蛛过多 导致负载状态一直100%,怎么办?插图2

头条搜索站长平台-抓取频次-抓取频次上限调整

网站访问蜘蛛过多 导致负载状态一直100%,怎么办?插图3

调整后等个一两天看看,是不是恢复正常了,如果还是这样,建议屏蔽掉一些搜索引擎蜘蛛,比如360和头条搜索引擎蜘蛛,往往都会给服务器带来非常大的压力,可以通过网站请求日志查看一些访问较为频繁的IP,然后用防火墙进行拦截。

有条件的话,可以考虑用CDN进行抓取缓解。相关链接

给TA打赏
共{{data.count}}人
人已打赏
好经验

aipage网站接入百度统计&爱番番及第三方客服

2022-10-3 10:17:45

好经验

站长经验:网站上权重8运营揭秘

2022-10-5 10:31:22

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索