AI学習拒否、robots.txt共通トークン案 2026年11月
robots.txt一か所でAI学習の拒否を示せる共通ポリシートークンについて、Google・Microsoft・OpenAIが2026年10月30日に対応を発表しました。
· 約 6 分で読めます
ほかの言語で読む한국어EnglishEspañol简体中文繁體中文
要点(2026年11月10日時点)
- 共通トークン「__usage_ai-training」は、AnthropicのKevin Kelley氏が2026年10月30日にIETFへ提出した個人草案に記されたもので、まだIETFが承認した標準ではありません。
- Googleは2027年の対応を目指し、Microsoftは2027年2月1日から新しい設定を反映し、3月1日からは従来のNoArchive・NoCacheを読み取らなくなります。

robots.txtにわずか2行を書くだけで、複数のAI企業による学習利用をまとめて拒否できる道が開けつつあります。Google・Microsoft・OpenAIは10月30日、robots.txtで使う共通の「ポリシートークン」に対応すると明らかにしました。インターネット技術の標準化団体IETF(Internet Engineering Task Force)のAI利用意向ワーキンググループ(AIPREF)は、来週の11月16日と19日に会合を開きます。企業ごとに名前を書き分けていた「AI学習拒否」が、ウェブ共通の書式へ移りつつあります。
AI学習拒否、いまは企業ごとに名前が違う
robots.txtは、ウェブサイトの最上位に置く短いテキストファイルです。検索ロボットに、どこを読んでよいかを伝える古くからの取り決めです。 問題はAI学習でした。Googleは2023年からGoogle-Extendedという別の名前で学習拒否を受け付け、他社もそれぞれ独自の名前を使ってきました。新しいAI企業が現れるたびに、運営者はリストを書き直さなければなりませんでした。 Googleのサーチアドボケイト、ジョン・ミューラー(John Mueller)氏は10月30日、Google検索セントラルブログで「AI開発企業ごとに個別の指示を管理する代わりに、ウェブサイト運営者はrobots.txt内の共通『ポリシートークン』を使い、参加するすべてのAI企業に対して幅広い意向を設定できるようになる」と書いています。
| 企業 | これまでの方式 | 共通トークンへの対応 | 時期 |
|---|---|---|---|
| Google-Extended(2023年から) | トークンで拒否するとGoogle-Extendedの拒否として解釈 | 2027年の対応を目標 | |
| Microsoft(Bing) | NoArchive・NoCache | 学習・グラウンディングの設定に置き換え | 2027年2月1日に反映開始 |
| OpenAI | GPTBot(報道) | 共通トークンに対応 | 数か月以内(報道) |
表は2026年10月30日のGoogle・Microsoft公式ブログに基づきます。OpenAIの原文はアクセスが遮断されて開けず、OpenAIの欄は技術評論社(gihyo.jp)の11月2日の報道で確認した内容です。同報道によると、OpenAIは学習用のGPTBotと検索用のOAI-SearchBotを、これまでどおり別々に設定できるようにします。
アスタリスク(*)ではなく名前を書く
書き方は簡単です。「User-Agent: __usage_ai-training」の下に「Disallow: /」と書けば、サイト全体を学習の対象から外すという意味になります。特定のフォルダだけを開放しておくこともできます。 注意したいのはアスタリスクです。草案は、すべてのロボットを指す「User-Agent: *」のグループを、このトークンとして解釈してはならないと定めています。トークン名を書いた行がなければ、何の意向も示していないものとみなされます。 また、このトークンは収集を止める命令ではありません。ロボットがページを読むことと、読んだ文章を何に使うかは別々に扱われるという説明です。個別の契約がある場合は、契約が優先されることがあります。
| 分類 | ラベル | 意味(IETF語彙草案 第08版) |
|---|---|---|
| AI学習 | train-ai | 生成AIモデルの学習済みの値を変えるために使うこと |
| AI利用 | ai-use | 利用者が直接与えていない資料を生成AIの入力に使うこと |
| 検索 | search | 元の場所へ利用者を案内する用途。要約の生成は除く |
分類はIETFワーキンググループの文書「A Vocabulary For Expressing AI Usage Preferences(AI利用の意向を表す語彙)」の2026年9月14日版から引用しました。この文書も、まだワーキンググループの合意を反映していない草案だと明記されています。

検索には残し、学習だけ外せる
運営者がもっとも気にするのは検索での露出です。Microsoftは、新しい設定がBingの検索結果に表示される資格には影響しないと説明しています。 Bingはさらに一歩踏み込み、ページごとに学習と「グラウンディング」を別々に選べるようにしました。グラウンディングとは、AIが回答を書く際にウェブ文書を根拠として引いてくることです。学習はrobots.txtでサイトやパスの単位で設定し、必要ならページのメタタグでも指定できます。グラウンディングはページのメタタグでのみ設定し、robots.txtにはグラウンディングの設定がありません。 Googleは、Google-Extendedを明示的に許可したサイトは、Geminiアプリの回答に根拠として表示され、クリックを得られると述べています。学習を拒むか、回答の出典として残るか。その見極めは運営者に委ねられることになります。
| 日付 | Microsoft Bingの日程 |
|---|---|
| 2026年12月15日 | NoArchive・NoCacheを使うサイトに暫定のグラウンディング設定を開放 |
| 2027年2月1日 | クロール時に新しい学習・グラウンディング設定の反映を開始 |
| 2027年3月1日 | NoArchive・NoCacheを意向表示として読み取らなくなる |
| 2027年9月30日 | 暫定設定の期限切れ |
ブログ・メディア運営者がいますべきこと
今回の発表原文とIETF草案には、韓国の検索・AIサービスへの言及はありません。韓国の検索・AI企業が同じトークンに従うかどうかも、まだ決まっていません。 独自ドメインを使っている運営者は、まず「ドメイン/robots.txt」を開き、いま何が書かれているかを確認しましょう。共通トークンは2027年から順次反映されるため、すぐに学習を拒否したい場合は、企業ごとの名前も併記しておくほうが安全です。 11月5日の記事「AIテキスト電子透かし、Claude旧4モデルへ拡大」(https://jemiboo.com/ja/tech/2026-11-05/)がAIの書いた文章に残る印を扱ったのに対し、今回のトークンは人が書いた文章に付ける「使わないでほしい」という印です。
よくある質問
robots.txtでAI学習を拒否すると、検索結果から外れますか?
共通トークンは収集そのものを止める命令ではなく、利用目的についての意向表示です。Microsoftは、新しい設定がBing検索結果への表示資格を変えないと説明しています。
__usage_ai-trainingトークンはいつから有効になりますか?
Googleは2027年の対応を目指し、Microsoftは2027年2月1日から反映を始めます。OpenAIは数か月以内に適用すると報じられています。
User-Agent: * で拒否すれば、AI学習も拒否したことになりますか?
IETF草案は、アスタリスクのグループをこのトークンとして解釈しないと定めています。AI学習を拒否するには「__usage_ai-training」という名前を別に書く必要があります。
この草案は、まだ一人が提出した個人文書です。ワーキンググループが正式な文書として採択して初めて、標準化の手続きに乗ります。来週のサンフランシスコ会合の議事録が公開されたら、まずトークン名がそのまま維持されるかを確認してください。
参考資料
- Google Search Central Blog, Supporting a shared AI training control for websites(2026年10月30日) — developers.google.com
- Microsoft Bing Blog, Your content, your choice: clearer preferences for training and grounding(2026年10月30日) — blogs.bing.com
- IETF, draft-kelley-aipref-training-preference-signal-00(2026年10月30日) — datatracker.ietf.org
- IETF, A Vocabulary For Expressing AI Usage Preferences, draft-ietf-aipref-vocab-08(2026年9月14日) — datatracker.ietf.org
- IETF, IETF 127 Agenda(2026年11月9日更新) — datatracker.ietf.org
- 技術評論社 gihyo.jp、robots.txtによるAI学習制御に関する報道(2026年11月2日) — gihyo.jp




