Anthropic每抓取8800次才回馈1次访问：AI公司被指“消耗互联网却极少回报”

当AI聊天机器人直接给出答案时，用户不再点击原始网页。最新数据显示，AI公司正在以惊人的频率抓取网站内容，但为内容来源带来的流量几乎可以忽略不计。

2026年4月13日，据《商业内幕》报道，Cloudflare最新发布的数据揭示了一个关键现实：AI公司正在大规模“消耗”互联网，但回馈却极为有限。Cloudflare为约20%的互联网提供基础设施，其监测的“抓取与引荐比”指标，直观反映了AI公司从网站获取内容与为网站带回流量的巨大差距。

一、数据对比：AI公司vs传统搜索引擎

Cloudflare统计了2026年4月1日至4月7日期间的网页活动（不含原生应用），结果如下：

Anthropic以8800:1的比例遥遥“领先”——这意味着其爬虫每抓取8800次网站内容，才为源网站带来1次访问回流。OpenAI的比例为993:1，差距同样悬殊。相比之下，传统搜索引擎如谷歌（5.6:1）和DuckDuckGo（1.5:1）的表现更符合“交换对等”的互联网生态。

Anthropic长期以“更具伦理性”的AI公司形象著称，也因此受到部分用户青睐。然而这组数据揭示了另一层“伦理问题”——AI公司如何对待为其提供训练与信息来源的互联网生态。

传统互联网建立在一种默认交换关系之上：网站允许搜索引擎免费抓取内容，换取可转化为收入的访问流量。而生成式AI正在打破这一机制。聊天机器人直接给出答案，用户无需再点击原始网页，导致平台获取的价值远高于回馈。

除了流量损失，高频爬虫行为还会推高网站运营成本。网站需要消耗服务器带宽、CPU资源来响应AI爬虫的海量请求，而这些成本无法通过任何广告或转化收入抵消。对于中小网站而言，这种“被白嫖”的压力正变得难以承受。

Anthropic曾质疑Cloudflare的统计方法，并表示随着新功能推出，引荐流量正在增加。然而，整体趋势已经十分清晰，已难以被忽略。

这一数据发布之际，正值内容创作者和网站运营者与AI公司之间的利益博弈日益激烈。部分新闻机构已开始屏蔽AI爬虫，或与AI公司签订付费授权协议。未来，互联网生态可能从“默认开放”转向“有条件使用”，以寻求更公平的价值分配。

数据来源：Cloudflare（2026年4月1日-7日网页活动统计）
报道原文：《商业内幕》2026年4月13日