拒絕AI訓練的robots.txt通用標記 2026年11月
只要在robots.txt一處就能表明拒絕AI訓練的通用政策標記,Google、微軟與OpenAI於2026年10月30日宣布支援。
· 閱讀約 5 分鐘
其他語言版本한국어EnglishEspañol简体中文日本語
重點整理(截至2026年11月10日)
- 通用標記「__usage_ai-training」出自Anthropic的Kevin Kelley於2026年10月30日向IETF提交的個人草案,目前尚非IETF核准的標準。
- Google目標在2027年支援,微軟自2027年2月1日起套用新設定,並從3月1日起不再讀取既有的NoArchive、NoCache。

只要在robots.txt寫上兩行,就有機會一次拒絕多家AI公司拿網站內容做訓練。Google、微軟與OpenAI於10月30日表示,將支援robots.txt中通用的「政策標記(policy token)」。網際網路標準組織IETF(網際網路工程任務組)的AI使用偏好工作小組(AIPREF),將在下週的11月16日與19日開會。過去得逐一寫上各家公司名稱的「拒絕AI訓練」,正逐步變成網路共通的寫法。
拒絕AI訓練,目前各家名稱不同
robots.txt是放在網站最上層的簡短文字檔,是告訴搜尋機器人哪些地方可以讀取的老規矩。 問題出在AI訓練。Google從2023年起以Google-Extended這個獨立名稱接受拒絕訓練的設定,其他公司也各用各的名稱。每出現一家新的AI公司,網站經營者就得重新修改清單。 Google搜尋倡導者John Mueller在10月30日的Google搜尋中心部落格寫道:「網站經營者不必再為每家AI開發商分別管理指令,而是可以透過robots.txt中的通用『政策標記』,對所有參與的AI公司設定廣泛的偏好。」
| 公司 | 原本的方式 | 對通用標記的處理 | 時程 |
|---|---|---|---|
| Google-Extended(2023年起) | 以標記拒絕時,視為拒絕Google-Extended | 目標2027年支援 | |
| 微軟(Bing) | NoArchive、NoCache | 改以訓練、grounding設定取代 | 2027年2月1日開始套用 |
| OpenAI | GPTBot(報導) | 支援通用標記 | 數個月內(報導) |
本表依據2026年10月30日Google、微軟的官方部落格。OpenAI原文因連線遭阻擋未能開啟,OpenAI欄位是依日本IT媒體技術評論社(gihyo.jp)11月2日的報導確認。根據該報導,OpenAI仍讓訓練用的GPTBot與搜尋用的OAI-SearchBot可以分開設定。
不能用星號(*),要寫出名稱
寫法很簡短。在「User-Agent: __usage_ai-training」下方寫上「Disallow: /」,代表整個網站都不供訓練使用,也可以只開放特定資料夾。 要注意的是星號。草案規定,代表所有機器人的「User-Agent: *」群組,不得解讀為這個標記。沒有寫出標記名稱的那一行,就視為沒有表明任何偏好。 此外,這個標記不是禁止抓取的指令。根據說明,機器人讀取頁面,和讀到的內容拿去做什麼,是分開處理的兩件事。若有個別合約,合約可能優先適用。
| 分類 | 標籤 | 定義(IETF詞彙草案第08版) |
|---|---|---|
| AI訓練 | train-ai | 用於改變生成式AI模型已訓練的參數 |
| AI使用 | ai-use | 將使用者未直接提供的資料用作生成式AI的輸入 |
| 搜尋 | search | 引導使用者前往原始位置的用途,不含產生摘要 |
分類取自IETF工作小組文件「A Vocabulary For Expressing AI Usage Preferences(表達AI使用偏好的詞彙)」2026年9月14日版。該文件也註明,仍是尚未反映工作小組共識的草案。

可以保留搜尋,只排除訓練
網站經營者最擔心的是搜尋曝光。微軟表示,新設定不會改變網站出現在Bing搜尋結果的資格。 Bing又多分了一步,讓每個頁面可以分別選擇訓練與「grounding」。grounding是指AI撰寫回答時,引用網路文件作為依據。訓練可透過robots.txt以網站或路徑為單位設定,必要時也能用頁面meta標籤指定;grounding則只能用頁面meta標籤設定,robots.txt沒有grounding的設定。 Google表示,明確允許Google-Extended的網站,可以在Gemini應用程式的回答中作為依據出現並獲得點擊。要阻擋訓練,還是留在回答中當作出處,如今得由網站經營者自行權衡。
| 日期 | 微軟Bing時程 |
|---|---|
| 2026年12月15日 | 對使用NoArchive、NoCache的網站開放暫時性grounding設定 |
| 2027年2月1日 | 抓取時開始套用新的訓練、grounding設定 |
| 2027年3月1日 | 不再將NoArchive、NoCache視為偏好表示 |
| 2027年9月30日 | 暫時性設定到期 |
部落格與媒體經營者現在該做的事
這次的發表原文與IETF草案,都沒有提到韓國的搜尋或AI服務。韓國的搜尋、AI公司是否會採用同一標記,目前也還沒定案。 使用自有網域的經營者,可以先打開「網址/robots.txt」,確認目前寫了什麼。通用標記從2027年起才會陸續生效,若想立刻拒絕訓練,同時保留各公司的個別名稱會比較保險。 11月5日的報導「AI文字浮水印擴大:Claude舊模型也加標記」(https://jemiboo.com/zh-hant/tech/2026-11-05/)談的是AI寫的文字上留下的標記,這次的標記則是在人寫的文字上表明「請勿使用」。
常見問題
用robots.txt拒絕AI訓練,會不會從搜尋結果消失?
通用標記不是禁止抓取的指令,而是對用途的偏好表示。微軟表示,新設定不會改變網站出現在Bing搜尋結果的資格。
__usage_ai-training標記什麼時候生效?
Google目標在2027年支援,微軟從2027年2月1日開始套用。據報導,OpenAI將在數個月內採用。
用User-Agent: * 封鎖,也等於拒絕AI訓練嗎?
IETF草案規定,星號群組不得解讀為這個標記。要拒絕AI訓練,必須另外寫上「__usage_ai-training」這個名稱。
這份草案目前仍只是一個人提交的個人文件,要由工作小組採納為正式文件,才能進入標準程序。下週舊金山會議的紀錄公布後,建議先確認標記名稱是否維持不變。
參考資料
- Google Search Central Blog, Supporting a shared AI training control for websites(2026年10月30日) — developers.google.com
- Microsoft Bing Blog, Your content, your choice: clearer preferences for training and grounding(2026年10月30日) — blogs.bing.com
- IETF, draft-kelley-aipref-training-preference-signal-00(2026年10月30日) — datatracker.ietf.org
- IETF, A Vocabulary For Expressing AI Usage Preferences, draft-ietf-aipref-vocab-08(2026年9月14日) — datatracker.ietf.org
- IETF, IETF 127 Agenda(2026年11月9日更新) — datatracker.ietf.org
- 技術評論社 gihyo.jp,robots.txt AI訓練控制相關報導(2026年11月2日) — gihyo.jp




