谷歌搜索结果新增 goto 跳转参数反制爬虫与 AI 抓取 监测覆盖率近 100%

速读摘要:谷歌(Google)于 8 月 27 日向 SEO 行业媒体 Seroundtable 证实,正在搜索结果链接中逐步推广一项新的反爬虫技术——为搜索结果 URL 添加 google.com/goto 中转跳转参数。SEO 监测平台 Nozzle 数据显示,此项变更在多个住宅 IP 服务商环境中已大规模上线,覆盖率接近 100%,核心目标是反制第三方工具和 AI 公司对搜索结果的批量抓取

一、事件回顾

据 IT 之家 8 月 27 日报道,谷歌今日对 Seroundtable 回应证实,搜索结果链接新增的”goto”跳转机制最早于 2026 年 7 月被研究人员发现处于测试阶段。在该机制下,用户点击搜索结果时,链接将不再直接指向目标网页,而是先经过一个带有”google.com/goto”参数的中转地址,由谷歌服务端做 302/服务端重定向到最终落地页。

对普通用户而言,这一变化几乎无感:页面打开速度、目标站点的展示结果与原先一致。但对爬虫与 AI 抓取工具链而言,意味着抓取难度与成本出现量级提升。

谷歌搜索结果 goto 跳转机制流程图
图:谷歌搜索结果新增 google.com/goto 跳转参数(点击搜索结果先经服务端中转再到达目标站),数据来源 Seroundtable / Nozzle

二、谷歌官方回应

谷歌发言人对此的表态非常克制:

“我们长期以来一直在部署技术措施以应对不断演变的滥用行为,并会定期采取行动保护我们的服务和用户。”

发言中没有正面承认”反 AI 抓取”是直接动因,但结合 Seroundtable 的分析,本次变更的核心指向已经非常明确。

三、为什么是”反 AI 抓取”?

Seroundtable 指出,此举的核心目的是应对第三方工具及 AI 公司对搜索结果的抓取。技术逻辑是:

维度 变更前 变更后
链接形式 直接指向目标 URL 带 google.com/goto 中转参数
重定向方式 客户端直跳 服务端重定向
解码难度 解析 HTML 即可 必须实际跟随重定向链路
抓取成本 线性放大(每个结果都要解一次)

SEO 监测平台 Nozzle 的 Derek Perkins 表示:

“由于这些 goto 链接无法被直接解码,相关服务商必须实际跟随重定向链路才能识别最终落地页。尽管这种做法在小规模测试中可行,但在大规模抓取场景下,单个搜索结果页可能包含数百个需要逐一解析的链接,这将显著提高数据获取的成本与难度。”

直白地说:爬虫从”读 HTML 提取链接”变成了”逐个跳一次 google.com/goto 才能拿到最终 URL”。对一个 100 条结果的关键字页面,爬虫的请求量与耗时会被放大数十倍至上百倍。

四、测试四个月,覆盖率近 100%

Nozzle 分享的监测数据也显示,在过去约四个月的测试期间,仅采用 goto 跳转链接的搜索结果页占比明显上升。在多个住宅 IP 服务商环境中,覆盖率已接近 100%。

这意味着该机制已经从”小流量灰度”进入”主流量级”阶段,预计未来几周内将面向更多地区与账号开放,最终成为谷歌搜索结果的默认形态。

五、对站长与 SEO 工作的影响

5.1 对正常用户几乎无影响

普通访客点击搜索结果,体感与原来一致:一次跳转、最终到达目标站,不会影响页面打开速度、不会影响 SEO 收录。站长无需做特殊适配。

5.2 对独立 SEO 监测工具冲击大

过去 SEO 工具通过抓取搜索结果页源码、提取 a 标签的 href 来监控排名。新机制下,href 已不再是目标 URL,必须模拟浏览器或 HTTP 客户端完成重定向,抓取资源消耗量级上升。预算有限的 SEO 工具、SERP 跟踪服务将面临洗牌。

5.3 对 AI 大模型数据采集链影响深远

这是本次变更最核心的目标。AI 训练数据爬取、实时联网搜索(如 ChatGPT Search、Perplexity、Claude 等)大量依赖对谷歌搜索结果的批量抓取。goto 跳转会让 AI 厂商的搜索增强(RAG)成本直线上升,长期会促使部分厂商:

  • 与谷歌直接签订授权数据合作;
  • 转向必应、DuckDuckGo 等替代搜索引擎;
  • 推动自有索引体系(如同 Google 抗衡的 Brave Search、Mojeek)。

5.4 对站长反爬虫策略的反向启发

本次变更给站长提供了一个教科书级的反爬虫思路

“对于必须保护的内容/接口,把直接可解析的 URL 替换为一次性令牌中转链接,要求客户端先请求中转接口、换取短期有效的最终 URL,可有效对抗自动化抓取。”

对希望保护原创内容、API 资源的站长,可以参考该思路改造自己的接口签名与会话机制。

六、写在最后

谷歌这次”悄悄上线”的 goto 跳转,表面是一个搜索体验的微调,实质是搜索引擎对 AI 抓取链的一次正面还击。在 AI 大模型对搜索生态的冲击越来越大的背景下,传统搜索引擎对自有数据流的”护城河加固”会越来越频繁、越来越精细。

对站长来说,SEO 的核心仍是高质量内容与正常用户行为——任何抓取对抗措施都不应影响真人访客的体验。如果你的站点已经接入了 WAF / 高防 CDN,可以留意一下自家UA 拦截、爬虫 IP 拦截、速率限制等策略是否覆盖了”AI 爬虫”这个新类别(如 GPTBot、ClaudeBot、PerplexityBot、Bytespider 等 UA),必要时针对性配置。

百度云防护在 UA 黑白名单与爬虫拦截方面有完善的策略配置(控制台 → 防护配置 → Bot 防护),接入后可以一键拦截常见 AI 爬虫与恶意采集 UA,避免服务器资源被白白消耗。

给TA打赏
共{{data.count}}人
人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
在线客服
在线客服
热线电话
QQ客服
电子邮箱
suduwangluo