拒绝AI训练:robots.txt通用令牌(2026年11月)
谷歌、微软和OpenAI于2026年10月30日宣布,将支持在robots.txt中用一个通用令牌统一拒绝AI训练。
· 阅读约 5 分钟
其他语言版本한국어EnglishEspañol繁體中文日本語
要点(截至2026年11月10日)
- 通用令牌“__usage_ai-training”出自Anthropic的Kevin Kelley于2026年10月30日向IETF提交的个人草案,目前尚不是IETF批准的标准。
- 谷歌计划于2027年提供支持;微软将从2027年2月1日起采用新设置,并自2027年3月1日起不再读取原有的NoArchive和NoCache指令。

只需在robots.txt里写两行,网站就有望一次性拒绝多家AI公司拿内容做训练。10月30日,谷歌、微软和OpenAI表示将支持写入robots.txt的通用“政策令牌”。互联网工程任务组(IETF)的AI偏好工作组将于下周的11月16日和19日开会。过去需要按公司逐一声明的“拒绝AI训练”,正在变成网络的通用语法。
拒绝AI训练,眼下每家公司名称各不相同
robots.txt是放在网站根目录下的一个简短文本文件,是告诉搜索爬虫哪些内容可以读取的一项老约定。 问题出在AI训练上。谷歌自2023年起以单独的名称Google-Extended接受训练退出声明,其他公司也各用各的名称。每出现一家新的AI公司,网站运营者就得重新修改名单。 谷歌搜索倡导者John Mueller于10月30日在谷歌搜索中心博客上写道,网站所有者将不必为每家AI开发商分别管理指令,而是可以通过robots.txt中的通用“政策令牌”,对所有参与的AI公司统一设定偏好。
| 公司 | 现行方式 | 对通用令牌的处理 | 时间 |
|---|---|---|---|
| 谷歌 | Google-Extended(2023年起) | 用令牌拒绝即视为拒绝Google-Extended | 目标2027年支持 |
| 微软(必应) | NoArchive · NoCache | 改用训练与grounding设置 | 2027年2月1日起采用 |
| OpenAI | GPTBot(据报道) | 支持通用令牌 | 数月内(据报道) |
上表依据谷歌与微软2026年10月30日的官方博客。OpenAI原文无法访问,OpenAI一栏依据日本IT媒体技术评论社(gihyo.jp)11月2日的报道。据该报道,OpenAI将保留现有做法,训练用的GPTBot和搜索用的OAI-SearchBot仍可分别设置。
要写令牌名称,不能用星号(*)
写法很简单。在'User-Agent: __usage_ai-training'下面写上'Disallow: /',即表示整个网站不用于训练。也可以只开放特定目录。 需要注意的是星号。草案规定,代表所有爬虫的'User-Agent: *'规则组不得被解读为适用于该令牌。如果没有写明令牌名称的行,就视为网站未表达任何偏好。 此外,该令牌并不是禁止抓取的指令。草案解释说,爬虫读取页面与读取内容的用途是分开处理的。若有单独协议,协议可能优先。
| 类别 | 标签 | 含义(IETF词汇草案第08版) |
|---|---|---|
| AI训练 | train-ai | 用于改变生成式AI模型训练参数 |
| AI使用 | ai-use | 将非用户直接提供的资料用作生成式AI的输入 |
| 搜索 | search | 将用户引导至原始位置的用途,不含生成摘要 |
上述类别取自IETF工作组文件《A Vocabulary For Expressing AI Usage Preferences》(表达AI使用偏好的词汇)2026年9月14日版。该文件也注明,这是一份尚未反映工作组共识的草案。

可以保留搜索收录,只退出训练
运营者最担心的是搜索曝光。微软表示,新设置不会改变网站出现在必应搜索结果中的资格。 必应还进一步细分,允许每个页面分别选择训练和“grounding”。grounding指AI在撰写回答时引用网页文档作为依据。训练可通过robots.txt按网站或路径设置,必要时也可用页面元标签设置;grounding只能用页面元标签设置,robots.txt中没有grounding选项。 谷歌表示,明确允许Google-Extended的网站可以作为依据出现在Gemini应用的回答中并获得点击。是拒绝训练,还是留在AI回答中作为引用来源,如今需要运营者自行权衡。
| 日期 | 微软必应时间表 |
|---|---|
| 2026年12月15日 | 向使用NoArchive · NoCache的网站开放临时grounding设置 |
| 2027年2月1日 | 抓取时开始采用新的训练与grounding设置 |
| 2027年3月1日 | 不再将NoArchive · NoCache视为偏好表示 |
| 2027年9月30日 | 临时设置到期 |
博客与媒体现在可以做什么
此次发布的原文和IETF草案均未提及韩国的搜索或AI服务,韩国搜索与AI公司是否会采用同一令牌尚无定论。 使用自有域名的运营者,可以先打开“你的域名/robots.txt”,确认目前写了什么。由于通用令牌将从2027年起陆续生效,如果想立即拒绝训练,同时保留各公司的专用名称更为稳妥。 本站11月5日关于AI文本水印扩大应用的报道(https://jemiboo.com/zh/tech/2026-11-05/)讨论的是AI写作留下的标记,而这次的令牌则是附在人类写作上的“请勿使用”标记。
常见问题
用robots.txt拒绝AI训练,网站会从搜索结果中消失吗?
通用令牌是关于用途的偏好表示,并非禁止抓取的指令。微软表示,新设置不会改变网站出现在必应搜索结果中的资格。
__usage_ai-training令牌什么时候生效?
谷歌目标是2027年支持,微软将从2027年2月1日开始采用。据报道,OpenAI将在数月内适用。
用User-Agent: *屏蔽,也能拒绝AI训练吗?
不能。IETF草案规定星号规则组不得被解读为适用于该令牌。要拒绝AI训练,必须单独写明'__usage_ai-training'这一名称。
这份草案目前仍是个人提交的文件,只有被工作组采纳为工作文件,才能进入标准流程。下周旧金山会议的记录公布后,读者不妨先确认令牌名称是否维持不变。
参考资料
- Google Search Central Blog, Supporting a shared AI training control for websites(2026年10月30日) — developers.google.com
- Microsoft Bing Blog, Your content, your choice: clearer preferences for training and grounding(2026年10月30日) — blogs.bing.com
- IETF, draft-kelley-aipref-training-preference-signal-00(2026年10月30日) — datatracker.ietf.org
- IETF, A Vocabulary For Expressing AI Usage Preferences, draft-ietf-aipref-vocab-08(2026年9月14日) — datatracker.ietf.org
- IETF, IETF 127 Agenda(2026年11月9日更新) — datatracker.ietf.org
- 技术评论社 gihyo.jp, 关于robots.txt AI训练控制的报道(2026年11月2日) — gihyo.jp




