Jemiboo Magazine

拒绝AI训练:robots.txt通用令牌(2026年11月)

谷歌、微软和OpenAI于2026年10月30日宣布,将支持在robots.txt中用一个通用令牌统一拒绝AI训练。

Jemiboo Magazine

· 阅读约 5 分钟

其他语言版本한국어EnglishEspañol繁體中文日本語

要点(截至2026年11月10日)

  • 通用令牌“__usage_ai-training”出自Anthropic的Kevin Kelley于2026年10月30日向IETF提交的个人草案,目前尚不是IETF批准的标准。
  • 谷歌计划于2027年提供支持;微软将从2027年2月1日起采用新设置,并自2027年3月1日起不再读取原有的NoArchive和NoCache指令。
小型爬虫机器人停在开关已关闭的服务器前

只需在robots.txt里写两行,网站就有望一次性拒绝多家AI公司拿内容做训练。10月30日,谷歌、微软和OpenAI表示将支持写入robots.txt的通用“政策令牌”。互联网工程任务组(IETF)的AI偏好工作组将于下周的11月16日和19日开会。过去需要按公司逐一声明的“拒绝AI训练”,正在变成网络的通用语法。

拒绝AI训练,眼下每家公司名称各不相同

robots.txt是放在网站根目录下的一个简短文本文件,是告诉搜索爬虫哪些内容可以读取的一项老约定。 问题出在AI训练上。谷歌自2023年起以单独的名称Google-Extended接受训练退出声明,其他公司也各用各的名称。每出现一家新的AI公司,网站运营者就得重新修改名单。 谷歌搜索倡导者John Mueller于10月30日在谷歌搜索中心博客上写道,网站所有者将不必为每家AI开发商分别管理指令,而是可以通过robots.txt中的通用“政策令牌”,对所有参与的AI公司统一设定偏好。

公司现行方式对通用令牌的处理时间
谷歌Google-Extended(2023年起)用令牌拒绝即视为拒绝Google-Extended目标2027年支持
微软(必应)NoArchive · NoCache改用训练与grounding设置2027年2月1日起采用
OpenAIGPTBot(据报道)支持通用令牌数月内(据报道)

上表依据谷歌与微软2026年10月30日的官方博客。OpenAI原文无法访问,OpenAI一栏依据日本IT媒体技术评论社(gihyo.jp)11月2日的报道。据该报道,OpenAI将保留现有做法,训练用的GPTBot和搜索用的OAI-SearchBot仍可分别设置。

要写令牌名称,不能用星号(*)

写法很简单。在'User-Agent: __usage_ai-training'下面写上'Disallow: /',即表示整个网站不用于训练。也可以只开放特定目录。 需要注意的是星号。草案规定,代表所有爬虫的'User-Agent: *'规则组不得被解读为适用于该令牌。如果没有写明令牌名称的行,就视为网站未表达任何偏好。 此外,该令牌并不是禁止抓取的指令。草案解释说,爬虫读取页面与读取内容的用途是分开处理的。若有单独协议,协议可能优先。

类别标签含义(IETF词汇草案第08版)
AI训练train-ai用于改变生成式AI模型训练参数
AI使用ai-use将非用户直接提供的资料用作生成式AI的输入
搜索search将用户引导至原始位置的用途,不含生成摘要

上述类别取自IETF工作组文件《A Vocabulary For Expressing AI Usage Preferences》(表达AI使用偏好的词汇)2026年9月14日版。该文件也注明,这是一份尚未反映工作组共识的草案。

屏幕显示类似配置文件内容的笔记本电脑和放在桌上的手

可以保留搜索收录,只退出训练

运营者最担心的是搜索曝光。微软表示,新设置不会改变网站出现在必应搜索结果中的资格。 必应还进一步细分,允许每个页面分别选择训练和“grounding”。grounding指AI在撰写回答时引用网页文档作为依据。训练可通过robots.txt按网站或路径设置,必要时也可用页面元标签设置;grounding只能用页面元标签设置,robots.txt中没有grounding选项。 谷歌表示,明确允许Google-Extended的网站可以作为依据出现在Gemini应用的回答中并获得点击。是拒绝训练,还是留在AI回答中作为引用来源,如今需要运营者自行权衡。

日期微软必应时间表
2026年12月15日向使用NoArchive · NoCache的网站开放临时grounding设置
2027年2月1日抓取时开始采用新的训练与grounding设置
2027年3月1日不再将NoArchive · NoCache视为偏好表示
2027年9月30日临时设置到期

博客与媒体现在可以做什么

此次发布的原文和IETF草案均未提及韩国的搜索或AI服务,韩国搜索与AI公司是否会采用同一令牌尚无定论。 使用自有域名的运营者,可以先打开“你的域名/robots.txt”,确认目前写了什么。由于通用令牌将从2027年起陆续生效,如果想立即拒绝训练,同时保留各公司的专用名称更为稳妥。 本站11月5日关于AI文本水印扩大应用的报道(https://jemiboo.com/zh/tech/2026-11-05/)讨论的是AI写作留下的标记,而这次的令牌则是附在人类写作上的“请勿使用”标记。

常见问题

用robots.txt拒绝AI训练,网站会从搜索结果中消失吗?

通用令牌是关于用途的偏好表示,并非禁止抓取的指令。微软表示,新设置不会改变网站出现在必应搜索结果中的资格。

__usage_ai-training令牌什么时候生效?

谷歌目标是2027年支持,微软将从2027年2月1日开始采用。据报道,OpenAI将在数月内适用。

用User-Agent: *屏蔽,也能拒绝AI训练吗?

不能。IETF草案规定星号规则组不得被解读为适用于该令牌。要拒绝AI训练,必须单独写明'__usage_ai-training'这一名称。

这份草案目前仍是个人提交的文件,只有被工作组采纳为工作文件,才能进入标准流程。下周旧金山会议的记录公布后,读者不妨先确认令牌名称是否维持不变。

参考资料

  1. Google Search Central Blog, Supporting a shared AI training control for websites(2026年10月30日) — developers.google.com
  2. Microsoft Bing Blog, Your content, your choice: clearer preferences for training and grounding(2026年10月30日) — blogs.bing.com
  3. IETF, draft-kelley-aipref-training-preference-signal-00(2026年10月30日) — datatracker.ietf.org
  4. IETF, A Vocabulary For Expressing AI Usage Preferences, draft-ietf-aipref-vocab-08(2026年9月14日) — datatracker.ietf.org
  5. IETF, IETF 127 Agenda(2026年11月9日更新) — datatracker.ietf.org
  6. 技术评论社 gihyo.jp, 关于robots.txt AI训练控制的报道(2026年11月2日) — gihyo.jp

拒绝AI训练robots.txt禁止AI抓取AI训练退出IETF AIPREFGoogle-Extended

同日其他文章

更多科技文章