AI训练偏好信号：用一行robots.txt声明内容能否用于模型训练

AI训练偏好信号（AI training preference signal）是网站通过 robots.txt 中一个跨厂商共享的用途标记，声明自身内容可否被用于生成式 AI 模型训练的技术约定。它回答的是"能不能拿去训练"，不是"能不能来抓取"，因此与传统的抓取允许规则属于两套用途。

需要先消歧义。robots.txt 长期用于告诉爬虫哪些路径可以访问，属于抓取层面的许可；AI训练偏好信号是在同一文件中新增的用途标签，只针对模型训练这一种用途表态。二者可以同时存在，也可以给出相反结论：允许抓取、但不同意训练。

为什么重要

网页内容进入 AI 系统的过程至少有四个环节：抓取、索引、问答时读取（常被称为 grounding 或引用）、以及把内容用于调整模型参数。四个环节的商业含义并不相同。

对内容方来说，被搜索收录和被模型训练是两笔账。前者带来曝光与点击，后者往往不带来回流。过去要表达"不同意训练"，网站需要分别研究每家公司的爬虫名称与写法，文档分散、口径不一，漏写一个就等于默认放行。

对品牌方来说，这个信号把"内容资产怎么被使用"变成了可以写下来的声明，而不是只能靠事后交涉。这也是它与 GEO 相关的原因：训练与引用分开表态之后，品牌可以选择保留被问答引用的机会，同时限制训练用途。

作用机制

这套机制由 Anthropic 标准技术负责人 Kevin Kelley 于 2026 年 10 月 30 日提交给 IETF 的个人草案提出，草案编号为 draft-kelley-aipref-training-preference-signal-00，有效期标注至 2027 年 5 月 3 日，目前在 AI Preferences（AIPREF）工作组讨论。

写法沿用 robots.txt 既有语法，只增加一个用途标记：

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

草案定义了三种状态。写 Disallow 表示不希望内容被用于训练；写 Allow 表示允许；文件里完全没有这个标记则属于未知，既不等于自动禁止，也不等于自动允许。

落地节奏并不一致。Anthropic 已开始支持；OpenAI 表示将在未来几个月内实施，并继续遵守现有的专用爬虫控制规则；微软计划 2027 年 2 月 1 日起执行，同时把"AI 训练"与"AI grounding"拆成两个偏好，并增加页面级设置；谷歌计划 2027 年支持，若网站使用共享信号却未单独点名 Google-Extended，谷歌拟按拒绝 Google-Extended 理解。Meta 表示欢迎，未承诺执行。

一个关键限制是强制力。robots.txt 从诞生起就依赖抓取方自觉，RFC 9309 描述的是共识规则，不是执法机制。草案本身也没有正式标准地位，支持声明不等于功能已经上线。

落地方法

第一，先分清训练与引用。只想保留问答引用、不希望内容进入训练数据的品牌，应该明确写下训练用途的态度，而不是直接封禁全部 AI 爬虫。

第二，采用双轨声明。在共享信号真正生效之前，继续保留 GPTBot、Google-Extended、ClaudeBot 等既有规则，叠加共享标记，避免过渡期出现真空。

第三，统一生成而不是手工维护。robots.txt 由模板或服务端统一输出，检查子域、测试环境与旧站是否遗漏同一份声明。

第四，记录变更。把声明内容、上线时间、覆盖范围留档，便于此后核对某家厂商是否按声明执行。

第五，用不同 User-Agent 自检。用命令行或抓取工具分别以各家爬虫标识请求站点，确认返回内容与声明一致，而不是只看文件写了什么。

第六，按厂商时间表复核。支持时间表存在差异，写下的声明在不同平台上的生效日期不同，需要按季度回看一次。

常见误区

• 写了训练偏好信号就以为爬虫不会再来。它约束的是训练用途，抓取与问答引用不受影响。
• 以为声明可以追溯。已经进入既有模型训练数据的内容，不会因为后来加了标记而被移除。
• 把 Allow 理解成全面授权。这个标记只对训练用途表态，不涉及转载、商用与二次分发。
• 把草案当成强制标准。它目前是 IETF 个人草案，执行依赖各家厂商的工程实现与自律。

相关词条

GPTBot、AI爬虫管理、llms.txt、内容源分级、AI内容授权