Google-Extended：控制Gemini训练抓取的robots指令

Google-Extended是Google提供的robots.txt专用产品标识，单独控制网站内容是否被用于Gemini等AI产品的模型训练，与Googlebot的搜索抓取相互独立。据Google官方文档，封禁Google-Extended不影响Google搜索与AI Overviews的常规收录。它让站长把两个决策拆开：既保留搜索与AI Overviews曝光，又可选择退出训练语料。

机制

Google-Extended不是独立爬虫，而是robots.txt中的产品令牌：实际抓取仍由Googlebot执行。站点在robots.txt中写User-agent: Google-Extended并Disallow，即声明内容不得用于Gemini训练；而User-agent: Googlebot的规则继续单独管理搜索抓取，两组规则互不覆盖，这是其与独立UA爬虫的本质区别。

据Google官方文档与公开报道，屏蔽Google-Extended不影响AI Overviews与AI Mode对内容的引用，因为它们消费的是Google搜索索引而非训练语料；同理，放行训练也不等于进入AI答案。站长可将是否进AI Overviews（由Googlebot抓取与索引决定）与是否贡献训练语料（由Google-Extended令牌决定）作为两个独立开关分别设置。

验证方式上，Googlebot真伪用反向DNS验证：真实Googlebot的IP反解到googlebot.com或google.com子域，再正向解析回原IP闭环确认，Google也公开其爬虫IP段供程序化核对。Google-Extended本身无独立UA与IP，其效果由令牌语义保证，无法从日志单独观测，配置正确性以官方文档为准。

落地方法

• 想进AI Overviews与AI Mode：确保Googlebot正常抓取与索引
• 训练语料按内容策略单独决定Google-Extended的放行
• robots.txt中为Googlebot与Google-Extended分别写规则组
• 用反向DNS加正向解析验证真实Googlebot流量
• 用Google Search Console监测索引状态与抓取统计
• 决策前明确两者独立性，避免连带误封
• 关注Google官方文档更新，规则语义以最新文档为准

常见误区

• 误以为封Google-Extended会影响搜索排名与AI Overviews
• 想做AI可见度却误封Googlebot，全链路曝光归零
• 以为Google-Extended是独立爬虫，在日志里找它的UA
• 把两组规则写进同一User-agent块，语义互相污染

相关词条：AI Overviews、robots.txt AI规则、AI爬虫