Jemiboo Magazine

拒絕AI訓練的robots.txt通用標記 2026年11月

只要在robots.txt一處就能表明拒絕AI訓練的通用政策標記,Google、微軟與OpenAI於2026年10月30日宣布支援。

Jemiboo Magazine

· 閱讀約 5 分鐘

其他語言版本한국어EnglishEspañol简体中文日本語

重點整理(截至2026年11月10日)

  • 通用標記「__usage_ai-training」出自Anthropic的Kevin Kelley於2026年10月30日向IETF提交的個人草案,目前尚非IETF核准的標準。
  • Google目標在2027年支援,微軟自2027年2月1日起套用新設定,並從3月1日起不再讀取既有的NoArchive、NoCache。
停在開關已關閉的伺服器前的小型爬蟲機器人

只要在robots.txt寫上兩行,就有機會一次拒絕多家AI公司拿網站內容做訓練。Google、微軟與OpenAI於10月30日表示,將支援robots.txt中通用的「政策標記(policy token)」。網際網路標準組織IETF(網際網路工程任務組)的AI使用偏好工作小組(AIPREF),將在下週的11月16日與19日開會。過去得逐一寫上各家公司名稱的「拒絕AI訓練」,正逐步變成網路共通的寫法。

拒絕AI訓練,目前各家名稱不同

robots.txt是放在網站最上層的簡短文字檔,是告訴搜尋機器人哪些地方可以讀取的老規矩。 問題出在AI訓練。Google從2023年起以Google-Extended這個獨立名稱接受拒絕訓練的設定,其他公司也各用各的名稱。每出現一家新的AI公司,網站經營者就得重新修改清單。 Google搜尋倡導者John Mueller在10月30日的Google搜尋中心部落格寫道:「網站經營者不必再為每家AI開發商分別管理指令,而是可以透過robots.txt中的通用『政策標記』,對所有參與的AI公司設定廣泛的偏好。」

公司原本的方式對通用標記的處理時程
GoogleGoogle-Extended(2023年起)以標記拒絕時,視為拒絕Google-Extended目標2027年支援
微軟(Bing)NoArchive、NoCache改以訓練、grounding設定取代2027年2月1日開始套用
OpenAIGPTBot(報導)支援通用標記數個月內(報導)

本表依據2026年10月30日Google、微軟的官方部落格。OpenAI原文因連線遭阻擋未能開啟,OpenAI欄位是依日本IT媒體技術評論社(gihyo.jp)11月2日的報導確認。根據該報導,OpenAI仍讓訓練用的GPTBot與搜尋用的OAI-SearchBot可以分開設定。

不能用星號(*),要寫出名稱

寫法很簡短。在「User-Agent: __usage_ai-training」下方寫上「Disallow: /」,代表整個網站都不供訓練使用,也可以只開放特定資料夾。 要注意的是星號。草案規定,代表所有機器人的「User-Agent: *」群組,不得解讀為這個標記。沒有寫出標記名稱的那一行,就視為沒有表明任何偏好。 此外,這個標記不是禁止抓取的指令。根據說明,機器人讀取頁面,和讀到的內容拿去做什麼,是分開處理的兩件事。若有個別合約,合約可能優先適用。

分類標籤定義(IETF詞彙草案第08版)
AI訓練train-ai用於改變生成式AI模型已訓練的參數
AI使用ai-use將使用者未直接提供的資料用作生成式AI的輸入
搜尋search引導使用者前往原始位置的用途,不含產生摘要

分類取自IETF工作小組文件「A Vocabulary For Expressing AI Usage Preferences(表達AI使用偏好的詞彙)」2026年9月14日版。該文件也註明,仍是尚未反映工作小組共識的草案。

螢幕顯示類似設定檔畫面的筆電與放在桌上的手

可以保留搜尋,只排除訓練

網站經營者最擔心的是搜尋曝光。微軟表示,新設定不會改變網站出現在Bing搜尋結果的資格。 Bing又多分了一步,讓每個頁面可以分別選擇訓練與「grounding」。grounding是指AI撰寫回答時,引用網路文件作為依據。訓練可透過robots.txt以網站或路徑為單位設定,必要時也能用頁面meta標籤指定;grounding則只能用頁面meta標籤設定,robots.txt沒有grounding的設定。 Google表示,明確允許Google-Extended的網站,可以在Gemini應用程式的回答中作為依據出現並獲得點擊。要阻擋訓練,還是留在回答中當作出處,如今得由網站經營者自行權衡。

日期微軟Bing時程
2026年12月15日對使用NoArchive、NoCache的網站開放暫時性grounding設定
2027年2月1日抓取時開始套用新的訓練、grounding設定
2027年3月1日不再將NoArchive、NoCache視為偏好表示
2027年9月30日暫時性設定到期

部落格與媒體經營者現在該做的事

這次的發表原文與IETF草案,都沒有提到韓國的搜尋或AI服務。韓國的搜尋、AI公司是否會採用同一標記,目前也還沒定案。 使用自有網域的經營者,可以先打開「網址/robots.txt」,確認目前寫了什麼。通用標記從2027年起才會陸續生效,若想立刻拒絕訓練,同時保留各公司的個別名稱會比較保險。 11月5日的報導「AI文字浮水印擴大:Claude舊模型也加標記」(https://jemiboo.com/zh-hant/tech/2026-11-05/)談的是AI寫的文字上留下的標記,這次的標記則是在人寫的文字上表明「請勿使用」。

常見問題

用robots.txt拒絕AI訓練,會不會從搜尋結果消失?

通用標記不是禁止抓取的指令,而是對用途的偏好表示。微軟表示,新設定不會改變網站出現在Bing搜尋結果的資格。

__usage_ai-training標記什麼時候生效?

Google目標在2027年支援,微軟從2027年2月1日開始套用。據報導,OpenAI將在數個月內採用。

用User-Agent: * 封鎖,也等於拒絕AI訓練嗎?

IETF草案規定,星號群組不得解讀為這個標記。要拒絕AI訓練,必須另外寫上「__usage_ai-training」這個名稱。

這份草案目前仍只是一個人提交的個人文件,要由工作小組採納為正式文件,才能進入標準程序。下週舊金山會議的紀錄公布後,建議先確認標記名稱是否維持不變。

參考資料

  1. Google Search Central Blog, Supporting a shared AI training control for websites(2026年10月30日) — developers.google.com
  2. Microsoft Bing Blog, Your content, your choice: clearer preferences for training and grounding(2026年10月30日) — blogs.bing.com
  3. IETF, draft-kelley-aipref-training-preference-signal-00(2026年10月30日) — datatracker.ietf.org
  4. IETF, A Vocabulary For Expressing AI Usage Preferences, draft-ietf-aipref-vocab-08(2026年9月14日) — datatracker.ietf.org
  5. IETF, IETF 127 Agenda(2026年11月9日更新) — datatracker.ietf.org
  6. 技術評論社 gihyo.jp,robots.txt AI訓練控制相關報導(2026年11月2日) — gihyo.jp

OpenAI拒絕AI訓練robots.txtAI爬蟲Google-ExtendedGPTBot

同日其他文章

更多科技文章