# 拒绝AI训练：robots.txt通用令牌（2026年11月）

- URL: https://jemiboo.com/zh/tech/2026-11-10/
- 分类: 科技
- Published: 2026-11-10
- Publisher: Jemiboo Magazine (JEMIBOO)
- Tags: 拒绝AI训练, robots.txt, 禁止AI抓取, AI训练退出, IETF AIPREF, Google-Extended, 必应 grounding, OpenAI GPTBot, AI爬虫, 网站运营, AI版权, 科技

![小型爬虫机器人停在开关已关闭的服务器前](https://jemiboo.com/img/2026-11-10-tech-cover.jpg)

只需在robots.txt里写两行，网站就有望一次性拒绝多家AI公司拿内容做训练。10月30日，谷歌、微软和OpenAI表示将支持写入robots.txt的通用“政策令牌”。互联网工程任务组（IETF）的AI偏好工作组将于下周的11月16日和19日开会。过去需要按公司逐一声明的“拒绝AI训练”，正在变成网络的通用语法。

## 要点（截至2026年11月10日）
- 谷歌、微软和OpenAI于2026年10月30日宣布，将支持在robots.txt中用一个通用令牌统一拒绝AI训练。
- 通用令牌“__usage_ai-training”出自Anthropic的Kevin Kelley于2026年10月30日向IETF提交的个人草案，目前尚不是IETF批准的标准。
- 谷歌计划于2027年提供支持；微软将从2027年2月1日起采用新设置，并自2027年3月1日起不再读取原有的NoArchive和NoCache指令。

## 拒绝AI训练，眼下每家公司名称各不相同

robots.txt是放在网站根目录下的一个简短文本文件，是告诉搜索爬虫哪些内容可以读取的一项老约定。 问题出在AI训练上。谷歌自2023年起以单独的名称Google-Extended接受训练退出声明，其他公司也各用各的名称。每出现一家新的AI公司，网站运营者就得重新修改名单。 谷歌搜索倡导者John Mueller于10月30日在谷歌搜索中心博客上写道，网站所有者将不必为每家AI开发商分别管理指令，而是可以通过robots.txt中的通用“政策令牌”，对所有参与的AI公司统一设定偏好。

| 公司 | 现行方式 | 对通用令牌的处理 | 时间 |
|---|---|---|---|
| 谷歌 | Google-Extended（2023年起） | 用令牌拒绝即视为拒绝Google-Extended | 目标2027年支持 |
| 微软（必应） | NoArchive · NoCache | 改用训练与grounding设置 | 2027年2月1日起采用 |
| OpenAI | GPTBot（据报道） | 支持通用令牌 | 数月内（据报道） |

上表依据谷歌与微软2026年10月30日的官方博客。OpenAI原文无法访问，OpenAI一栏依据日本IT媒体技术评论社（gihyo.jp）11月2日的报道。据该报道，OpenAI将保留现有做法，训练用的GPTBot和搜索用的OAI-SearchBot仍可分别设置。

## 要写令牌名称，不能用星号（*）

写法很简单。在'User-Agent: __usage_ai-training'下面写上'Disallow: /'，即表示整个网站不用于训练。也可以只开放特定目录。 需要注意的是星号。草案规定，代表所有爬虫的'User-Agent: *'规则组不得被解读为适用于该令牌。如果没有写明令牌名称的行，就视为网站未表达任何偏好。 此外，该令牌并不是禁止抓取的指令。草案解释说，爬虫读取页面与读取内容的用途是分开处理的。若有单独协议，协议可能优先。

| 类别 | 标签 | 含义（IETF词汇草案第08版） |
|---|---|---|
| AI训练 | train-ai | 用于改变生成式AI模型训练参数 |
| AI使用 | ai-use | 将非用户直接提供的资料用作生成式AI的输入 |
| 搜索 | search | 将用户引导至原始位置的用途，不含生成摘要 |

上述类别取自IETF工作组文件《A Vocabulary For Expressing AI Usage Preferences》（表达AI使用偏好的词汇）2026年9月14日版。该文件也注明，这是一份尚未反映工作组共识的草案。

![屏幕显示类似配置文件内容的笔记本电脑和放在桌上的手](https://jemiboo.com/img/2026-11-10-tech-inline.jpg)

## 可以保留搜索收录，只退出训练

运营者最担心的是搜索曝光。微软表示，新设置不会改变网站出现在必应搜索结果中的资格。 必应还进一步细分，允许每个页面分别选择训练和“grounding”。grounding指AI在撰写回答时引用网页文档作为依据。训练可通过robots.txt按网站或路径设置，必要时也可用页面元标签设置；grounding只能用页面元标签设置，robots.txt中没有grounding选项。 谷歌表示，明确允许Google-Extended的网站可以作为依据出现在Gemini应用的回答中并获得点击。是拒绝训练，还是留在AI回答中作为引用来源，如今需要运营者自行权衡。

| 日期 | 微软必应时间表 |
|---|---|
| 2026年12月15日 | 向使用NoArchive · NoCache的网站开放临时grounding设置 |
| 2027年2月1日 | 抓取时开始采用新的训练与grounding设置 |
| 2027年3月1日 | 不再将NoArchive · NoCache视为偏好表示 |
| 2027年9月30日 | 临时设置到期 |

## 博客与媒体现在可以做什么

此次发布的原文和IETF草案均未提及韩国的搜索或AI服务，韩国搜索与AI公司是否会采用同一令牌尚无定论。 使用自有域名的运营者，可以先打开“你的域名/robots.txt”，确认目前写了什么。由于通用令牌将从2027年起陆续生效，如果想立即拒绝训练，同时保留各公司的专用名称更为稳妥。 本站11月5日关于AI文本水印扩大应用的报道（https://jemiboo.com/zh/tech/2026-11-05/）讨论的是AI写作留下的标记，而这次的令牌则是附在人类写作上的“请勿使用”标记。

## 常见问题
### 用robots.txt拒绝AI训练，网站会从搜索结果中消失吗？
通用令牌是关于用途的偏好表示，并非禁止抓取的指令。微软表示，新设置不会改变网站出现在必应搜索结果中的资格。
### __usage_ai-training令牌什么时候生效？
谷歌目标是2027年支持，微软将从2027年2月1日开始采用。据报道，OpenAI将在数月内适用。
### 用User-Agent: *屏蔽，也能拒绝AI训练吗？
不能。IETF草案规定星号规则组不得被解读为适用于该令牌。要拒绝AI训练，必须单独写明'__usage_ai-training'这一名称。

这份草案目前仍是个人提交的文件，只有被工作组采纳为工作文件，才能进入标准流程。下周旧金山会议的记录公布后，读者不妨先确认令牌名称是否维持不变。

## 参考资料
1. Google Search Central Blog, Supporting a shared AI training control for websites（2026年10月30日） — https://developers.google.com/search/blog/2026/10/ai-training-control
2. Microsoft Bing Blog, Your content, your choice: clearer preferences for training and grounding（2026年10月30日） — https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/
3. IETF, draft-kelley-aipref-training-preference-signal-00（2026年10月30日） — https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
4. IETF, A Vocabulary For Expressing AI Usage Preferences, draft-ietf-aipref-vocab-08（2026年9月14日） — https://datatracker.ietf.org/doc/draft-ietf-aipref-vocab/
5. IETF, IETF 127 Agenda（2026年11月9日更新） — https://datatracker.ietf.org/meeting/127/agenda.txt
6. 技术评论社 gihyo.jp, 关于robots.txt AI训练控制的报道（2026年11月2日） — https://gihyo.jp/article/2026/11/robots-txt-ai-training-controls
