Web Bot Auth：验证机器人真实身份的加密标准

Web Bot Auth是IETF推进中的机器人身份验证标准，由Cloudflare于2025年提出，基于RFC 9421 HTTP消息签名构建，要求自动化代理用Ed25519私钥对请求签名，服务端以公钥验签确认真实身份。传统识别靠UA与IP，两者皆可伪造或轮换，Web Bot Auth为精准的AI爬虫管理提供密码学信任基础。

机制

协议定义了三个请求头：Signature-Agent指向爬虫运营方发布公钥的域名（如operator.openai.com）；Signature-Input携带签名参数（created与expires时间戳、keyid密钥指纹、tag标识）；Signature为Ed25519签名值。签名覆盖目标域名（@authority组件），请求被截获也无法跨站重放，时间窗过期即失效。

公钥分发遵循密钥目录草案：运营方在/.well-known/http-message-signatures-directory路径以JWKS格式发布公钥集，目录响应本身也需签名以防镜像冒充。服务端验签流程为：读取Signature-Agent域名、拉取目录公钥、验证签名与时间窗三步，全流程可自动化完成，与现有网关和WAF策略天然衔接。

标准化进展方面，据IETF官网与公开报道，Web Bot Auth工作组2026年成立，现行草案为draft-meunier-webbotauth-httpsig-protocol（由Cloudflare与Google工程师共同起草）；Google已于2026年5月开始测试用其验证自有爬虫流量，Cloudflare、AWS WAF、Akamai等已提供验签支持，标准全面落地后UA伪造将失去空间。

落地方法

• 关注主流AI厂商与CDN对Web Bot Auth的落地公告
• 网关或CDN层预留验签能力与放行策略联动
• 对已支持签名的爬虫优先按验签结果做访问决策
• 过渡期签名验证与IP清单验证并行双层防护
• 在日志中记录Signature-Agent域名，积累签名流量画像
• 评估Cloudflare Verified Bots等现成验签服务
• 跟踪IETF草案版本更新，适时调整实施方案

常见误区

• 认为标准未完全普及就完全不关注，落地时措手不及
• 只部署验签不做策略联动，验证结果无实际用途
• 把Web Bot Auth等同于UA白名单，误解其防重放价值
• 忽视密钥轮换，公钥缓存过期导致验签失败率上升

相关词条：AI爬虫识别、AI爬虫、robots.txt AI规则