ChatGPT-User：用户提问触发的实时抓取器

ChatGPT-User是用户在ChatGPT或自定义GPT中提问、让其访问网页时触发的实时抓取器，代表具体用户取回页面内容，不属于批量索引爬虫。它决定用户当场问到你品牌时AI能读到官网的什么，页面直出质量与响应速度直接影响实时引用效果，是与索引抓取并列的GEO关键场景。

机制

据OpenAI官方文档，ChatGPT-User完整UA形如Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot，IP清单发布于openai.com/chatgpt-user.json。它由用户会话按需触发，频次低但意图明确，不用于自动抓取全网，也不参与搜索结果收录判断，官方明确其不用于判定内容能否出现在搜索中。

关于robots.txt适用性，官方文档表述为：因为这些操作由用户发起，robots.txt规则可能不适用。据公开报道，OpenAI在2026年修订爬虫文档时进一步明确了这一立场，将用户主动触发的访问类比为用户代理行为。因此站点无法只靠robots.txt控制ChatGPT-User，需同时保障可访问性与内容质量两手准备。

实时取页对页面质量的要求比索引抓取更苛刻：响应慢会超时，正文空会被放弃，结构乱会被误读。首屏与核心结论应在HTML源码中直出，关键问答不依赖JS交互加载；弹窗与Cookie提示若遮挡正文，AI读到的就是提示文案而非品牌内容，直接损害当场引用效果。

落地方法

• 保证首屏与核心正文在HTML源码中直出，勿靠JS二次加载
• 关键问答、价格、参数等事实内容做成静态可抓取区块
• 页面响应速度对齐普通用户可接受水平，避免实时取页超时
• 用真实ChatGPT会话测试让AI读取官网页面的实际效果
• 拉取chatgpt-user.json核对日志，识别真实用户触发流量
• 弹窗与Cookie横幅对无JS客户端降级或延迟展示
• 高频被问页面单独优化摘要与结论段，便于当场引用

常见误区

• 只优化给索引爬虫，忽视用户实时提问的抓取场景
• 弹窗遮挡正文，AI读到的是Cookie同意提示而非品牌内容
• 以为robots能完全控制ChatGPT-User，用户触发场景可能不适用
• 核心信息藏在交互组件里，实时抓取只拿到空壳页面

相关词条：OAI-SearchBot、SSR服务端渲染、AI爬虫识别