Meta-ExternalAgent：Meta AI生态的抓取代理

Meta-ExternalAgent是Meta为其AI产品（Meta AI助手及WhatsApp、Instagram内AI功能）抓取网页内容的爬虫标识，据Meta官方开发者文档说明其用于AI模型训练。Meta AI嵌入WhatsApp、Instagram、Facebook数十亿用户的对话与搜索场景，用户在聊天中问AI推荐时，答案引用的内容与Meta的抓取体系直接相关，据Cloudflare观察其抓取量位居AI爬虫前列。

机制

据Meta官方文档，meta-externalagent的UA形如meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)，robots匹配不区分大小写。Meta另有Meta-ExternalFetcher处理用户主动分享链接等单页获取场景，两者用途不同，需在robots.txt中分别声明规则，Meta官方文档声明其遵守robots.txt。

生态场景上，聊天与社交流内的AI问答提问更口语化、消费导向明显：商品评测、本地服务、消费决策类内容在其中被引用的概率更高。Meta的检索链路融合自建索引与外部数据，答案内的来源引用与官网内容的结构化程度、事实清晰度直接相关，社交账号与官网的实体信息一致性也会影响品牌理解。

抓取量级上，据Cloudflare 2026年1月发布的两个月对比分析，Googlebot覆盖的唯一URL数约为Meta-ExternalAgent的2.99倍，其抓取规模在AI爬虫中位居前列。消费品牌应将其与Google、OpenAI体系并列纳入管理清单，按用途分类设置规则，避免一刀切封禁错失社交场景内的AI推荐曝光。

落地方法

• robots.txt分类声明meta-externalagent与meta-externalfetcher规则
• 消费品牌在Meta各平台维护官方账号信息一致性
• 在WhatsApp内实测AI对品类问题的回答与引用
• 社交账号简介与官网实体信息保持口径统一
• 商品与评测内容优先结构化，适配消费类提问
• 日志统计Meta爬虫抓取频次与热门路径分布
• 关注Meta官方爬虫文档的UA与政策更新

常见误区

• 忽视聊天场景内的AI推荐入口，只做网页搜索优化
• 社交账号信息与官网实体信息不一致，实体识别混乱
• 大小写混淆导致robots规则匹配失效
• 把ExternalAgent与ExternalFetcher混写一条规则

相关词条：AI爬虫、豆包、robots.txt AI规则