自从AI盛行以来，主机帮发现CDN流量消耗贼快，以前每月消耗CDN流量不到100G，现在几百G都顶不住，主机帮用百度云防护设置拦截了一大堆爬虫，几乎把一些恶意访问都拦截了个遍，但是CDN流量依然回不去之前的消耗量。
主机帮经过一段时间的观察发现，访问网站最频繁的是来自头条搜索的蜘蛛， 如果只是蜘蛛抓取网页也就算了，关键是头条的蜘蛛还抓取图片。
这就很不合理了，因为如果是搜索引擎蜘蛛是不需要抓取图片的，像百度蜘蛛就从来不抓取图片。
主机帮再结合网上最近流传很多AI不讲武德，利用搜索引擎爬虫来抓取网站内容，猜测可能是豆包AI，利用搜索引擎蜘蛛来抓取网站内容，而站长又不好直接把搜索引擎蜘蛛给拦截了，这些蜘蛛不仅抓取了网页连图片也一同抓取，直接导致网站CDN流量激增。
在AI时代 ，搜索引擎来的流量越来越少了，但是AI有时候也会给网站带来不错的流量，像主机帮网站就经常有来自豆包的流量，这些流量精准度比搜索引擎还高，所以对网站运营者来说，禁AI抓取不是一个好选择，但可以考虑禁止AI抓取图片，否则流量真的顶不住，这些AI抓取你的图片并不会给你带来实际的流量来源，只会不断消耗你的网站流量。
