# 拒絕AI訓練的robots.txt通用標記　2026年11月

- URL: https://jemiboo.com/zh-hant/tech/2026-11-10/
- 分類: 科技
- Published: 2026-11-10
- Publisher: Jemiboo Magazine (JEMIBOO)
- Tags: 拒絕AI訓練, robots.txt, AI爬蟲, Google-Extended, GPTBot, IETF, AIPREF, 生成式AI 著作權, 網站經營, Bing, OpenAI, SEO

![停在開關已關閉的伺服器前的小型爬蟲機器人](https://jemiboo.com/img/2026-11-10-tech-cover.jpg)

只要在robots.txt寫上兩行，就有機會一次拒絕多家AI公司拿網站內容做訓練。Google、微軟與OpenAI於10月30日表示，將支援robots.txt中通用的「政策標記（policy token）」。網際網路標準組織IETF（網際網路工程任務組）的AI使用偏好工作小組（AIPREF），將在下週的11月16日與19日開會。過去得逐一寫上各家公司名稱的「拒絕AI訓練」，正逐步變成網路共通的寫法。

## 重點整理（截至2026年11月10日）
- 只要在robots.txt一處就能表明拒絕AI訓練的通用政策標記，Google、微軟與OpenAI於2026年10月30日宣布支援。
- 通用標記「__usage_ai-training」出自Anthropic的Kevin Kelley於2026年10月30日向IETF提交的個人草案，目前尚非IETF核准的標準。
- Google目標在2027年支援，微軟自2027年2月1日起套用新設定，並從3月1日起不再讀取既有的NoArchive、NoCache。

## 拒絕AI訓練，目前各家名稱不同

robots.txt是放在網站最上層的簡短文字檔，是告訴搜尋機器人哪些地方可以讀取的老規矩。 問題出在AI訓練。Google從2023年起以Google-Extended這個獨立名稱接受拒絕訓練的設定，其他公司也各用各的名稱。每出現一家新的AI公司，網站經營者就得重新修改清單。 Google搜尋倡導者John Mueller在10月30日的Google搜尋中心部落格寫道：「網站經營者不必再為每家AI開發商分別管理指令，而是可以透過robots.txt中的通用『政策標記』，對所有參與的AI公司設定廣泛的偏好。」

| 公司 | 原本的方式 | 對通用標記的處理 | 時程 |
|---|---|---|---|
| Google | Google-Extended（2023年起） | 以標記拒絕時，視為拒絕Google-Extended | 目標2027年支援 |
| 微軟（Bing） | NoArchive、NoCache | 改以訓練、grounding設定取代 | 2027年2月1日開始套用 |
| OpenAI | GPTBot（報導） | 支援通用標記 | 數個月內（報導） |

本表依據2026年10月30日Google、微軟的官方部落格。OpenAI原文因連線遭阻擋未能開啟，OpenAI欄位是依日本IT媒體技術評論社（gihyo.jp）11月2日的報導確認。根據該報導，OpenAI仍讓訓練用的GPTBot與搜尋用的OAI-SearchBot可以分開設定。

## 不能用星號（*），要寫出名稱

寫法很簡短。在「User-Agent: __usage_ai-training」下方寫上「Disallow: /」，代表整個網站都不供訓練使用，也可以只開放特定資料夾。 要注意的是星號。草案規定，代表所有機器人的「User-Agent: *」群組，不得解讀為這個標記。沒有寫出標記名稱的那一行，就視為沒有表明任何偏好。 此外，這個標記不是禁止抓取的指令。根據說明，機器人讀取頁面，和讀到的內容拿去做什麼，是分開處理的兩件事。若有個別合約，合約可能優先適用。

| 分類 | 標籤 | 定義（IETF詞彙草案第08版） |
|---|---|---|
| AI訓練 | train-ai | 用於改變生成式AI模型已訓練的參數 |
| AI使用 | ai-use | 將使用者未直接提供的資料用作生成式AI的輸入 |
| 搜尋 | search | 引導使用者前往原始位置的用途，不含產生摘要 |

分類取自IETF工作小組文件「A Vocabulary For Expressing AI Usage Preferences（表達AI使用偏好的詞彙）」2026年9月14日版。該文件也註明，仍是尚未反映工作小組共識的草案。

![螢幕顯示類似設定檔畫面的筆電與放在桌上的手](https://jemiboo.com/img/2026-11-10-tech-inline.jpg)

## 可以保留搜尋，只排除訓練

網站經營者最擔心的是搜尋曝光。微軟表示，新設定不會改變網站出現在Bing搜尋結果的資格。 Bing又多分了一步，讓每個頁面可以分別選擇訓練與「grounding」。grounding是指AI撰寫回答時，引用網路文件作為依據。訓練可透過robots.txt以網站或路徑為單位設定，必要時也能用頁面meta標籤指定；grounding則只能用頁面meta標籤設定，robots.txt沒有grounding的設定。 Google表示，明確允許Google-Extended的網站，可以在Gemini應用程式的回答中作為依據出現並獲得點擊。要阻擋訓練，還是留在回答中當作出處，如今得由網站經營者自行權衡。

| 日期 | 微軟Bing時程 |
|---|---|
| 2026年12月15日 | 對使用NoArchive、NoCache的網站開放暫時性grounding設定 |
| 2027年2月1日 | 抓取時開始套用新的訓練、grounding設定 |
| 2027年3月1日 | 不再將NoArchive、NoCache視為偏好表示 |
| 2027年9月30日 | 暫時性設定到期 |

## 部落格與媒體經營者現在該做的事

這次的發表原文與IETF草案，都沒有提到韓國的搜尋或AI服務。韓國的搜尋、AI公司是否會採用同一標記，目前也還沒定案。 使用自有網域的經營者，可以先打開「網址/robots.txt」，確認目前寫了什麼。通用標記從2027年起才會陸續生效，若想立刻拒絕訓練，同時保留各公司的個別名稱會比較保險。 11月5日的報導「AI文字浮水印擴大：Claude舊模型也加標記」（https://jemiboo.com/zh-hant/tech/2026-11-05/）談的是AI寫的文字上留下的標記，這次的標記則是在人寫的文字上表明「請勿使用」。

## 常見問題
### 用robots.txt拒絕AI訓練，會不會從搜尋結果消失？
通用標記不是禁止抓取的指令，而是對用途的偏好表示。微軟表示，新設定不會改變網站出現在Bing搜尋結果的資格。
### __usage_ai-training標記什麼時候生效？
Google目標在2027年支援，微軟從2027年2月1日開始套用。據報導，OpenAI將在數個月內採用。
### 用User-Agent: * 封鎖，也等於拒絕AI訓練嗎？
IETF草案規定，星號群組不得解讀為這個標記。要拒絕AI訓練，必須另外寫上「__usage_ai-training」這個名稱。

這份草案目前仍只是一個人提交的個人文件，要由工作小組採納為正式文件，才能進入標準程序。下週舊金山會議的紀錄公布後，建議先確認標記名稱是否維持不變。

## 參考資料
1. Google Search Central Blog, Supporting a shared AI training control for websites（2026年10月30日） — https://developers.google.com/search/blog/2026/10/ai-training-control
2. Microsoft Bing Blog, Your content, your choice: clearer preferences for training and grounding（2026年10月30日） — https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/
3. IETF, draft-kelley-aipref-training-preference-signal-00（2026年10月30日） — https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
4. IETF, A Vocabulary For Expressing AI Usage Preferences, draft-ietf-aipref-vocab-08（2026年9月14日） — https://datatracker.ietf.org/doc/draft-ietf-aipref-vocab/
5. IETF, IETF 127 Agenda（2026年11月9日更新） — https://datatracker.ietf.org/meeting/127/agenda.txt
6. 技術評論社 gihyo.jp，robots.txt AI訓練控制相關報導（2026年11月2日） — https://gihyo.jp/article/2026/11/robots-txt-ai-training-controls
