robots.txt 写错一个开关，品牌可能进不了 AI 答案
共享令牌 __usage_ai-training 只管训练，不管抓取和引用。但只用它退出训练、又没写 Google-Extended 的站点，会被视同禁止 Gemini 引用。三个开关要分开设置。
结论先说：2026 年 10 月 30 日，Google、OpenAI、微软与 Anthropic 先后表示支持 robots.txt 里的共享令牌 __usage_ai-training，网站写一组规则就能声明「内容不用于训练」。但这条规则只管训练，不管抓取，也不管 AI 在答案里引不引用你；更麻烦的是，为了「不被训练」顺手全站禁，可能把品牌在 Gemini 答案里的引用资格一起关掉。
- 共享令牌 __usage_ai-training 只管训练，不管抓取，也不管 AI 是否引用你。
- 只用令牌退出训练又没写 Google-Extended，会被视同禁止 Gemini 引用。
- 微软把训练与 grounding 拆成两个偏好，选禁止会显著降低 AI 答案可见度。
一、先分清三个开关：抓取、训练、引用
很多企业把这三件事当成一件事，于是用一条 Disallow: / 处理全部需求。实际上它们由三套不同的机制控制，写错任何一处，都会让 AI 搜索优化的效果打折。
| 开关 | 管什么 | 在哪里设置 | 写错的后果 |
|---|---|---|---|
| 抓取 | 爬虫能不能来取页面 | robots.txt 各爬虫组；CDN/WAF 规则 | 进不来，后面两项都无从谈起 |
| 训练 | 内容能否用来改变模型参数 | robots.txt 共享令牌；页面级 meta 或 header | 影响未来模型，不影响今天的答案 |
| 引用 | 能否被拿去组织答案并给出链接 | Google-Extended（Gemini）；Bing 页面级 ai-grounding | 写错会直接降低品牌在 AI 答案里的可见度 |
二、最危险的一条：为了不被训练，把引用一起关了
据 Google Search Central 2026 年 10 月 30 日博文（John Mueller 署名），站点用共享令牌退出训练、又没有单独写 Google-Extended 的，Google 计划按「已经禁止 Google-Extended」来处理。而 Google-Extended 同时覆盖 Gemini 模型的训练与 Gemini Apps 里的 grounding——后者就是「你的页面能不能被拿去组织答案并给出链接」。
换成白话：你只想说「别拿我的内容训练」，系统听成「别用我的内容，连回答里也别提」。国内不少企业官网为了防采集，本来就在 robots.txt 里写了 Disallow: /，这次如果照着教程再加一条令牌，等于把仅剩的引用通道也堵上。
微软的做法是把两件事拆开。据微软 Bing 官方博客 2026 年 10 月 30 日公告（Krishna Madhavan 署名），AI Training 可以在 robots.txt 按站点或路径设置，也能在页面级用 meta 或 X-Robots-Tag 覆盖；AI Grounding 只有页面级设置，三个取值：Allow（默认）、DisallowExtended、Disallow。官方原文明确写着：选 DisallowExtended 或 Disallow 会「显著降低内容在 AI 生成体验中的可见度」。其中 DisallowExtended 只屏蔽微软提供给第三方的 grounding 服务（如 Web IQ 与 Foundry 的 grounding 接口），Copilot、AI Mode 这类微软自有体验仍然可用。
三、各家落地时间不同，现在改等于提前站队
- Anthropic：其爬虫帮助页 2026 年 11 月 4 日更新后说明已开始识别该信号，并强调单独写 ClaudeBot 的规则优先。
- OpenAI：公开表示将在未来几个月内支持，现有各爬虫规则继续有效。
- 微软：2027 年 2 月 1 日起随抓取生效；2026 年 12 月 15 日先在站长工具开放过渡设置；2027 年 3 月 1 日起不再把 NoArchive、NoCache 当作训练或 grounding 偏好；临时设置 2027 年 9 月 30 日到期。
- Google：目标在 2027 年支持，具体时间以其爬虫文档为准。
也就是说，今天写下去不会立竿见影，但会在 2027 年被批量执行。这恰恰是要「先审计、后动笔」的原因：现在写错，等生效时往往已经没人记得当初为什么这么写。
四、四个「写错等于没写」的坑
- 通配符组不匹配令牌：User-Agent: * 下的规则不会被当成训练偏好，必须显式写出令牌名。
- 不写就是默认允许：文件里没有这一组，等于没表态，四家都按允许处理；沉默不等于拒绝。
- 令牌不是爬取指令：它拦不住爬虫来抓页面，想限制抓取仍要按爬虫名逐条写。
- 不溯及既往：已经进入数据集、已经训进模型的内容，补一条规则收不回来。
五、今天就能做的五步自查
- 打开 /robots.txt，逐个核对 AI 爬虫组：GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended、Bingbot、Applebot、Bytespider。缺一组，就可能少一个入口。
- 看这些组下面有没有 Disallow: /。防采集时顺手全禁，是 AI 搜索优化里最常见的一处自伤。
- 检查 CDN 与 WAF 有没有按 User-Agent 拦截。robots.txt 允许、边缘节点拦掉，效果与禁止完全一样，而且日志上不容易看出来。
- 用真实 UA 抓一次首页和一篇内容页，确认返回 200，且正文出现在服务端返回的 HTML 里。靠 JavaScript 渲染的内容，不少抓取器看到的是空壳。
- 确认 sitemap 可访问，且已包含最新文章。AI 爬虫重新发现内容的第一入口，通常仍是 sitemap。
改之前先想清楚两件事：未来模型里要不要有你所在行业的知识（影响长尾问题的回答质量）；今天答案里的引用与链接要不要保留（影响可见度与流量）。多数 B2B 企业的答案是「训练可以给、引用必须留」，对应写法是只退出训练、同时显式允许 Google-Extended。
顺带说一句本站的做法：涌客来官网的 robots.txt 对 11 个 AI 爬虫组做了显式放行，并保留 Sitemap 声明。想强调的不是「我们也这么写」，而是这套配置有个前提——内容侧的事实与口径得先立得住，否则放行进来读到的仍然是一堆形容词。
常见问题
Q1robots.txt 里写 __usage_ai-training 会不会让品牌从 AI 答案里消失？
不一定消失，但写法会影响结果。据 Google 2026 年 10 月 30 日博文，用共享令牌退出训练又没单独写 Google-Extended 的站点，会被按「已禁止 Google-Extended」处理，而它同时覆盖 Gemini 训练与 grounding。想只退训练留引用，需再显式允许 Google-Extended。
Q2AI 训练开关和 AI 引用开关有什么区别？
训练开关管内容能不能用来改变模型参数，影响未来模型；引用开关管生成回答时能不能抓取你的页面并给出链接，影响今天的可见度。微软 2026 年 10 月 30 日公告把两者做成独立偏好：训练可在 robots.txt 或页面级设置，grounding 只能页面级设置，取值为 Allow、DisallowExtended、Disallow。
Q3网站被 AI 爬虫抓不到，通常是什么原因？
最常见三类：robots.txt 里对 AI 爬虫组写了 Disallow: /，很多站点防采集时顺手全禁；CDN 或 WAF 按 User-Agent 拦截，robots 允许但边缘拦掉；正文靠 JavaScript 渲染，抓取器只拿到空壳 HTML。自查方法是用真实 UA 抓一次首页与内容页，确认返回 200 且正文在服务端 HTML 里。
Q4训练偏好现在设置了吗，什么时候生效？
建议先审计、后设置。按各家公开表态：Anthropic 已开始识别该信号，OpenAI 称未来几个月支持，微软 2027 年 2 月 1 日起随抓取生效，Google 目标 2027 年。现在写下去不会立即生效，但会在 2027 年被批量执行，写法错了届时很难临时补救，这也是要先核对现有 AI 爬虫组的原因。
东莞市涌客来数字技术有限公司. robots.txt 写错一个开关，品牌可能进不了 AI 答案[EB/OL]. (2026-11-11)[2026-11-11]. https://www.yongkelai.cn/articles/robots-txt-three-switches-ai-visibility.html.
涌客来数字 (2026). robots.txt 写错一个开关，品牌可能进不了 AI 答案. https://www.yongkelai.cn/articles/robots-txt-three-switches-ai-visibility.html
想知道你的品牌现在在 AI 答案里排第几？
我们提供限时免费的 AI 可见度诊断：固定行业样本采样，输出提及率、首位提及与表述准确度三项基线数据。
