全部标签

豆包AI

疑似豆包AI利用头条搜索引擎蜘蛛大量抓取网站图片

自从AI盛行以来，主机帮发现CDN流量消耗贼快，以前每月消耗CDN流量不到100G，现在几百G都顶不住，主机帮用百度云防护设置拦截了一大堆爬虫，几乎把一些恶意访问都拦截了个遍，但是CDN流量依然回不去之前的消耗量。主机帮经过一段时间的观察发现，访问网站最频繁的是来自头条搜索的蜘蛛，如果只是蜘蛛抓取网页也就算了，关键是头条的蜘蛛还抓取图片。这就很不合理了，因为如果是搜索引擎蜘蛛是不需要抓取图片…
经验教程
- 3k
- 0
主机帮25年10月22日

咨询电话 17307799197

关注服务号

QQ176363189

速度网络服务商

sudu@yunjiasu.cc

suduwangluo